Đang tải 5 triệu hàng vào Pandas từ MySQL

Cách tốt nhất để tải tất cả dữ liệu từ một bảng ngoài cơ sở dữ liệu-nhiều-SQL vào gấu trúc là:

1. Đưa dữ liệu ra khỏi cơ sở dữ liệu bằng cách sử dụng COPY đối với PostgreSQL, CHỌN VÀO ĐẦU RA cho MySQL hoặc tương tự cho các phương ngữ khác.
2. Đọc tệp csv với gấu trúc bằng pandas.read_csv chức năng

Chỉ sử dụng trình kết nối để đọc một vài hàng . Sức mạnh của cơ sở dữ liệu SQL là khả năng cung cấp các phần nhỏ dữ liệu dựa trên các chỉ số.

Việc phân phối toàn bộ bảng là việc bạn làm với kết xuất.