Mysql
 sql >> Cơ Sở Dữ Liệu >  >> RDS >> Mysql

Thiết lập kết nối Kafka để gửi bản ghi từ Aurora bằng AWS MSK

Không. Bạn có thể bật các lược đồ trong các bản ghi json. Nguồn JDBC có thể tạo chúng cho bạn dựa trên thông tin bảng

value.converter=org.apache.kafka...JsonConverter 
value.converter.schemas.enable=true

Nếu bạn muốn sử dụng Schema Registry, bạn nên sử dụng kafkastore.bootstrap.servers . bằng địa chỉ Kafka, không phải Zookeeper. Vì vậy, hãy xóa kafkastore.connection.url

Vui lòng đọc tài liệu để được giải thích về tất cả các thuộc tính

Không thành vấn đề. Chủ đề lược đồ được tạo khi Sổ đăng ký lần đầu tiên khởi động

Có (bỏ qua không gian heap JVM có sẵn). Một lần nữa, điều này được trình bày chi tiết trong tài liệu Kafka Connect.

Sử dụng chế độ độc lập, trước tiên bạn chuyển cấu hình trình kết nối, sau đó chuyển tối đa N thuộc tính trình kết nối trong một lệnh

Sử dụng chế độ phân tán, bạn sử dụng API Kafka Connect REST

https://docs.confluent.io/current/connect/managing/configuring .html

Trước hết, đó là dành cho Sqlite, không phải Mysql / Postgres. Bạn không cần sử dụng các tệp khởi động nhanh, chúng chỉ ở đó để tham khảo

Một lần nữa, tất cả các thuộc tính đều được ghi chép đầy đủ

https://docs.confluent.io /current/connect/kafka-connect-jdbc/index.html#connect-jdbc

Đây là thông tin thêm về cách bạn có thể gỡ lỗi đó

https://www.confluent.io/ blog / kafka-connect-deep-lặn-jdbc-source-connector /

Như đã nêu trước đây, cá nhân tôi khuyên bạn nên sử dụng Debezium / CDC nếu có thể

Trình kết nối Debezium cho RDS Aurora



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Hibernate- không thể khởi tạo một cách lười biếng tập hợp vai trò:bean.Language.patients, không thể khởi tạo proxy - không có phiên

  2. CHỌN người dùng từ cơ sở dữ liệu MySQL bằng mặt nạ bit đặc quyền?

  3. Làm cách nào để chọn các hàng theo thứ tự ngược lại trong MySQL?

  4. lỗi ghi log4net trong ghi nhật ký cơ sở dữ liệu mysql

  5. yêu cầu đếm tài liệu trong apache solr