Sqoop trên Dataproc không thể xuất dữ liệu sang định dạng Avro

Sự cố có thể là ở các phiên bản Avro khác nhau trong Hadoop của Dataproc (Avro 1.7.7) và Sqoop 1.4.7 (Avro 1.8.1).

Bạn có thể muốn hạ cấp Sqoop xuống 1.4.6 tùy thuộc vào Avro 1.7 và sử dụng avro-tools-1.7.7.jar trong quá trình nộp hồ sơ.

Đã chỉnh sửa:

Để giải quyết vấn đề tải lớp, bạn cần đặt mapreduce.job.classloader=true khi gửi công việc Dataproc:

gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
    --class=org.apache.sqoop.Sqoop \
    --jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
    --properties=mapreduce.job.classloader=true \
    -- \
    . . .