Làm thế nào để đồng bộ hóa Mysql vào Bigquery trong thời gian thực?

Đọc loạt bài đăng này từ Wepay, nơi họ trình bày chi tiết cách họ đồng bộ hóa cơ sở dữ liệu MySQL với BigQuery, sử dụng Airflow:

• https://wecode.wepay.com/posts/ wepays-data-kho-bigquery-airflow
• https://wecode.wepay.com/posts/airflow-wepay
• (Câu hỏi thứ 3 là về BigQuery)

Như một bản tóm tắt (trích dẫn):

• Thiết lập xác thực, kết nối, DAG.
• Xác định cột nào cần kéo từ MySQL và tải vào BigQuery.
• Chọn cách tải dữ liệu:tăng dần hoặc toàn bộ.
• Khử trùng lặp.