Cách nhập tệp XML lớn (~ 10GB) vào PostgreSQL

1. Chuyển đổi tệp XML thành tệp CSV, ngoài ra, khi chuyển đổi, hãy chia tệp đó thành các phần 100Mb-1Gb để phân chia dễ dàng hơn.

2. Tạo bảng với các cột bạn đã xác định trong tệp CSV.

3. Tải (các) tệp lên Postgres bằng SAO CHÉP Đây là cách nhanh nhất để tải lên một lượng lớn dữ liệu mà tôi biết .BTW, nó cũng có thể được thực hiện từ Java, với CopyManager lớp học.

Tùy thuộc vào loại truy vấn bạn sẽ thực hiện, bạn sẽ muốn tạo chỉ mục:

1. Đó sẽ là phần tốn nhiều thời gian nhất. Tuy nhiên, bạn có thể sử dụng TẠO CHỈ SỐ NGAY LẬP TỨC . Nó sẽ cho phép bạn làm việc với bảng của mình trong khi chỉ mục được tạo ở chế độ nền.

2. Nếu bạn lặp lại quá trình nhập và đã tạo bảng và chỉ mục, hãy xóa các chỉ mục trước khi phát hành lệnh COPY và tạo lại chúng sau đó. Nó sẽ giúp bạn tiết kiệm nhiều thời gian.

3. Nếu bạn vẫn không hài lòng với tốc độ truy vấn của mình hoặc tốc độ tạo chỉ mục, có thể bạn nên sử dụng Clickhouse thay vì. Tuy nhiên, nó phụ thuộc vào loại truy vấn bạn thực hiện.