Tôi sử dụng tất cả các cơ sở dữ liệu mà bạn đã đề cập. Đối với tải này, tôi có thể đề xuất MySQL hoặc PostgreSQL vì tôi đã làm việc với tải thậm chí cao hơn trên PostgreSQL. Nhưng MySQL cũng sẽ làm công việc tương tự - thậm chí có thể tốt hơn vì nó được thiết kế ngay từ đầu để tải chèn cao.
Giải pháp trên PostgreSQL mà tôi đã làm việc được sử dụng để lưu trữ các thông báo hệ thống từ mạng viễn thông và có thể thu thập ~ 300GB dữ liệu mỗi ngày trên một máy mà không gặp vấn đề gì. Nhưng bạn cần có kiến trúc CTNH phù hợp.
Bạn cần máy có ít nhất 8 CPU nhưng nhiều hơn thì tốt hơn và bạn cần có một số hàng đợi chèn. Sử dụng trình tải bằng Java hoặc C hoặc golang với nhiều mối đe dọa song song hơn và thực hiện chèn hàng loạt từ mọi mối đe dọa bằng cách sử dụng lệnh COPY cho ~ 10000 bản ghi cùng một lúc. Bạn phải sử dụng nhóm kết nối vì PostgreSQL có chi phí cao hơn để mở một kết nối mới.
Nó cũng sẽ giúp bạn phân phối dữ liệu trên nhiều vùng bảng hơn mỗi vùng bảng trên đĩa vật lý riêng biệt hoặc tốt hơn trên mảng đĩa vật lý riêng biệt. Nếu có thể, không sử dụng các chỉ mục trên dữ liệu thô. Tách dữ liệu thô của bạn khỏi kết quả tổng hợp.
Chúng tôi đã có một giải pháp khác sử dụng phần mở rộng pl / proxy cho PostgreSQL và một số máy vật lý cho dữ liệu thô được phân vùng theo thời gian. Hệ thống này có thể thu thập ít nhất 1TB mỗi ngày nhưng với số lượng cơ sở dữ liệu nô lệ thích hợp thậm chí còn nhiều hơn.
Nhưng bạn phải hiểu rằng để thực sự xử lý lượng dữ liệu này, bạn cần có phần cứng phù hợp với cấu hình phù hợp. Không có cơ sở dữ liệu kỳ diệu nào có thể làm nên điều kỳ diệu trên một số "máy tính xách tay như cấu hình" ...
InfluxDB là cơ sở dữ liệu thời gian thực sự tuyệt vời và chúng tôi sử dụng nó để theo dõi. Tôi tin rằng với đủ CPU và bộ nhớ thực sự lớn, bạn cũng sẽ có thể sử dụng nó. Tôi ước tính bạn sẽ cần tối thiểu 64 GB RAM vì bộ nhớ chèn đắt hơn. Vì vậy, với việc chèn nhiều hàng đợi hơn, cơ sở dữ liệu sẽ cần nhiều bộ nhớ hơn vì nó lưu trữ mọi thứ trong bộ nhớ và tự động lập chỉ mục trên các thẻ.
