Nếu bạn muốn chạy bất kỳ Công việc Spark nào trên Amazon EMR 3.x hoặc EMR 4.x, bạn cần thực hiện những việc sau:
1) Bạn có thể đề cập đến spark-defaults.conf thuộc tính trong khi khởi động, tức là bạn có thể thay đổi cấu hình của Driver Classpath và Executor Classpath thuộc tính và cả MaximumResourceAllocation (Yêu cầu thêm thông tin trong nhận xét nếu bạn cần.) tài liệu
2) Bạn cần tải xuống tất cả các lọ bắt buộc, tức là (mysql-connector.jar và mariadb-connector.jar) trong trường hợp của bạn là các lọ JDBC của trình kết nối MariaDB và MySQL tới tất cả các vị trí classpath như Spark, Yarn và Hadoop trên tất cả các Nút hoặc nó là MASTER, CORE hoặc TASK (Kịch bản Spark On Yarn bao gồm nhiều nhất) tài liệu về tập lệnh bootstrap
3) Và nếu Công việc Spark của bạn chỉ giao tiếp từ nút Trình điều khiển đến Cơ sở dữ liệu của bạn thì bạn có thể chỉ cần nó sử dụng --jars và sẽ không cho bạn ngoại lệ và hoạt động tốt.
4) Cũng khuyên bạn nên dùng thử Master dưới dạng cụm sợi thay vì địa phương hoặc khách hàng sợi
Trong trường hợp của bạn, nếu bạn sử dụng MariaDB hoặc MySQL, hãy sao chép các lọ của bạn trên $ SPARK_HOME / lib , $ HADOOP_HOME / lib v.v. trên mỗi và mọi nút trong cụm của bạn và sau đó thử.
Sau này, bạn có thể sử dụng Hành động Bootstrap để sao chép các lọ của bạn trên tất cả các nút trong thời gian Tạo cụm.
Vui lòng bình luận bên dưới để biết thêm thông tin.
