làm thế nào để sử dụng cấu hình Spark-submit:lọ, gói:ở chế độ cụm?

Việc bạn sử dụng --packages đối số sai:

--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0

Nó phải ở dạng groupId:artifactId:version như đầu ra gợi ý. Bạn không thể sử dụng URL với nó.

Ví dụ về sử dụng mongoDB với spark với sự hỗ trợ của kho lưu trữ tích hợp:

$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0

Nếu bạn khăng khăng muốn sử dụng jar của riêng mình, bạn có thể cung cấp nó qua --repositories . Giá trị của đối số là

Ví dụ:trong trường hợp của bạn, nó có thể là

--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0