Ý tưởng ban đầu của bạn là hoàn toàn khả thi. Chỉ cần bắt đầu 10 luồng công nhân chờ đợi đầu vào trên một và cùng một hàng đợi. Sau đó, quá trình thư của bạn đặt các url vào hàng đợi này. Cân bằng tải sẽ tự động diễn ra.
Nếu các liên kết SQL của bạn an toàn theo luồng, bạn có thể thực hiện việc CHÈN hoặc CẬP NHẬT trong các luồng công nhân. Nếu không, tôi sẽ thêm một chuỗi nữa cho nội dung SQL, đang đợi đầu vào trên một hàng đợi khác. Sau đó, các chuỗi công nhân của bạn sẽ đặt truy vấn vào hàng đợi này và chuỗi SQL sẽ thực thi nó.
Nếu bạn google cho "hàng đợi chuỗi nhân viên python", bạn sẽ tìm thấy một vài ví dụ.
