PostgreSQL
 sql >> Cơ Sở Dữ Liệu >  >> RDS >> PostgreSQL

Các vấn đề về hiệu suất chèn số lượng lớn PostgreSQL / JooQ khi tải từ CSV; làm cách nào để cải thiện quy trình?

Cách nhanh nhất để thực hiện chèn hàng loạt từ tệp CSV vào PostgreSQL là với Sao chép . Lệnh COPY được tối ưu hóa để chèn số lượng lớn hàng.

Với Java, bạn có thể sử dụng Triển khai sao chép cho trình điều khiển PostgreSQL JDBC

Có một ví dụ nhỏ hay về cách sử dụng nó ở đây: cách sao chép dữ liệu từ tệp sang PostgreSQL bằng JDBC?

Nếu bạn có CSV với các tiêu đề, bạn muốn chạy một lệnh tương tự như sau:

\COPY mytable FROM '/tmp/mydata.csv' DELIMITER ';' CSV HEADER

Một cách tăng hiệu suất khác khi bạn đang thêm một lượng lớn dữ liệu vào bảng hiện có, là bỏ chỉ mục, chèn dữ liệu và sau đó tạo lại chỉ mục.



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Chỉ định múi giờ để sử dụng làm múi giờ tham chiếu

  2. tsvector chỉ hỗ trợ tiếng Anh?

  3. AWS Glue - Cắt ngắn bảng postgres đích trước khi chèn

  4. Liquibase / PostgreSQL:Làm thế nào để bảo vệ bảng trường hợp chính xác?

  5. Giám sát PostgreSQL cần thiết - Phần 1