Mysql
 sql >> Cơ Sở Dữ Liệu >  >> RDS >> Mysql

MySQL tải dữ liệu trong tệp tin - tăng tốc?

nếu bạn đang sử dụng innodb và tải hàng loạt thì đây là một số mẹo:

sắp xếp tệp csv của bạn theo thứ tự khóa chính của bảng đích:hãy nhớ innodb sử dụng các khóa chính được trộn lẫn để tệp sẽ tải nhanh hơn nếu được sắp xếp!

tệp dữ liệu tải điển hình mà tôi sử dụng:

truncate <table>;

set autocommit = 0;

load data infile <path> into table <table>...

commit;

các tính năng tối ưu khác mà bạn có thể sử dụng để tăng thời gian tải:

set unique_checks = 0;
set foreign_key_checks = 0;
set sql_log_bin=0;

chia tệp csv thành nhiều phần nhỏ hơn

số liệu thống kê nhập khẩu điển hình mà tôi đã quan sát được trong quá trình tải hàng loạt:

3.5 - 6.5 million rows imported per min
210 - 400 million rows per hour


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Làm cách nào để chỉ trích xuất các cột có giá trị khác 0 trong mysql và php?

  2. Viết hoa chữ cái đầu tiên. MySQL

  3. Danh mục đệ quy với một truy vấn duy nhất?

  4. Sử dụng các hàm tổng hợp (SUM, AVG, MAX, MIN, COUNT, DISTINCT) trong MySQL

  5. Cách kết nối nhiều cơ sở dữ liệu trong PHP, MYSQLi &PDO