Mysql
 sql >> Cơ Sở Dữ Liệu >  >> RDS >> Mysql

Python Scrapy - điền start_urls từ mysql

Cách tiếp cận tốt hơn là ghi đè start_requests phương pháp.

Điều này có thể truy vấn cơ sở dữ liệu của bạn, giống như populate_start_urls và trả về một chuỗi Yêu cầu các đối tượng.

Bạn chỉ cần đổi tên populate_start_urls của mình phương thức đến start_requests và sửa đổi các dòng sau:

for row in rows:
    yield self.make_requests_from_url(row[0])


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. mysql CONCAT () NHƯ tên?

  2. Chuyển người dùng từ tên người dùng sang user_group

  3. MySQL / Hibernate - Làm cách nào để gỡ lỗi một kết nối gộp MySQL liên tục bị rớt?

  4. Cách tốt nhất để tìm kiếm các từ từng phần trong tập dữ liệu MySQL lớn

  5. Ngăn chặn các mục nhập SQL trùng lặp