Di căn tổ ong bên ngoài cho EMR

Bạn có thể ghi đè các cấu hình mặc định cho các ứng dụng bằng cách cung cấp một đối tượng cấu hình cho các ứng dụng khi bạn tạo một cụm. Đối tượng cấu hình được tham chiếu dưới dạng tệp JSON. Đối tượng cấu hình bao gồm phân loại, thuộc tính và cấu hình lồng nhau tùy chọn. Thuộc tính là cài đặt bạn muốn thay đổi trong tệp đó. Bạn có thể chỉ định nhiều phân loại cho nhiều ứng dụng trong một đối tượng JSON.

Để ghi đè hive-site.xml bằng thông tin di căn mysql bên ngoài của bạn, hãy tạo tệp cấu hình có tên hiveConfiguration.json chứa các chỉnh sửa đối với hive-site.xml:

[
    {
      "Classification": "hive-site",
      "Properties": {
        "javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
        "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
        "javax.jdo.option.ConnectionUserName": "username",
        "javax.jdo.option.ConnectionPassword": "password"
      }
    }
]

Sử dụng hiveConfiguration.json với lệnh AWS CLI sau để tạo cụm:

aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles

Tham khảo:

https://docs.aws.amazon .com / emr / mới nhất / ReleaseGuide / emr-hive-inheritore-external.html