BigQuery là kho dữ liệu không máy chủ được quản lý trong Google Cloud được thiết kế để cho phép phân tích có thể mở rộng trên petabyte dữ liệu. Nó là một nền tảng cơ sở dữ liệu quan hệ như một dịch vụ (PaaS) hỗ trợ các truy vấn ANSI SQL. Như vậy, nó hoạt động với phần mềm IRI.
Việc kết nối Google BigQuery RDB với IRI Workbench và chương trình xử lý SortCL phía sau rất đơn giản và cho phép di chuyển và thao tác dữ liệu có cấu trúc của nó thông qua các sản phẩm IRI tương thích. Điều này có nghĩa là IRI CoSort, FieldShield, NextForm và RowGen hoặc nền tảng IRI Voracity bao gồm tất cả chúng.
Khả năng kết nối tuân theo cùng một mô hình như tất cả các cơ sở dữ liệu quan hệ khác mà IRI hỗ trợ. Điều này có nghĩa là tải xuống và cài đặt trình điều khiển ODBC và JDBC, cấu hình (sử dụng và thử nghiệm bằng thông tin đăng nhập của bạn), đăng ký và xác thực.
Vì Workbench được xây dựng trên Eclipse nên nó cần kết nối JDBC để xem lược đồ BigQuery và phân tích cú pháp siêu dữ liệu bảng. Và để chuyển dữ liệu giữa BigQuery và công cụ thao tác dữ liệu SortCL, trình điều khiển ODBC cũng cần thiết. Kết quả cuối cùng có thể là:
Google đã hợp tác với Magnesium Simba để cung cấp trình điều khiển ODBC và JDBC để kết nối với BigQuery. Tuy nhiên, tại thời điểm viết bài này, trình điều khiển JDBC của nó thiếu các chức năng chính mà Workbench cần. Để giải quyết vấn đề này, hãy sử dụng trình điều khiển JDBC từ CData.
Bài viết này cung cấp hướng dẫn từng bước để phần mềm IRI truy cập vào BigQuery.
Tài khoản dịch vụ trong BigQuery
BigQuery cho phép truy cập vào tài nguyên dựa trên danh tính đã xác minh, tài nguyên này cần ID người dùng ở dạng tài khoản dịch vụ và khóa / mật khẩu. Để tạo danh tính đã xác minh, hãy đăng nhập vào BigQuery, chuyển đến Tài khoản dịch vụ trong IAM &Admin và tạo tài khoản:
Trường đầu tiên tạo tên của tài khoản dịch vụ, đối với thiết lập của tôi, tôi gọi nó là iri-simba. Trường thứ hai sẽ tự động được điền bằng địa chỉ email tài khoản dịch vụ bằng tên bạn đã chọn. Trường cuối cùng có thể được bỏ qua. Nhấp vào Tạo và Tiếp tục.
Bây giờ tài khoản dịch vụ đã được tạo, chúng ta có thể chuyển sang loại quyền mà tài khoản này có thể có. Nhấp vào Chọn vai trò và tìm kiếm BigQuery để thêm các vai trò cụ thể cho cơ sở dữ liệu.
Di chuột qua từng vai trò sẽ cung cấp cho bạn mô tả nhanh về loại quyền truy cập mà vai trò này sẽ cấp cho tài khoản dịch vụ; tìm lời giải thích chi tiết hơn ở đây. Điều này cho phép kiểm soát tốt hơn việc cấp quyền cho người dùng cụ thể như khả năng có thể xem bảng, tạo truy vấn hoặc chạy với tư cách quản trị viên.
Tôi đã chọn vai trò Người dùng BigQuery, vai trò này sẽ cho phép tài khoản dịch vụ này xem và thao tác các bảng. “Cấp quyền truy cập cho người dùng vào tài khoản dịch vụ này” bị bỏ qua. Nhấp vào Xong đưa bạn trở lại trang chính của tài khoản dịch vụ, nơi bạn có thể thấy tài khoản:
Chuyển sang phần thứ hai, hãy tạo khóa sẽ được liên kết với tài khoản dịch vụ mới. Trong trường Hành động, hãy nhấp vào Quản lý phím để tạo khóa cho tài khoản dịch vụ - bằng cách thêm khóa của riêng bạn hoặc tạo khóa cho bạn.
Nếu bạn yêu cầu Google tạo khóa của mình, nó sẽ hiển thị cho bạn hai tùy chọn loại khóa, JSON hoặc P12. Chọn loại JSON vì khóa này cũng sẽ được sử dụng cho trình điều khiển JDBC sử dụng định dạng JSON.
Khi khóa JSON được tạo, nó sẽ được tải xuống máy tính. Bạn có thể đặt nó ở bất cứ đâu bạn thích, nhưng hãy nhớ đường dẫn vì nó sẽ được sử dụng để thiết lập trình điều khiển ODBC và JDBC.
Bây giờ tài khoản dịch vụ đã được tạo và có một khóa sẽ hoạt động như mật khẩu, hãy chuyển sang tải xuống kết nối ODBC và thiết lập nó.
ODBC - Tải xuống và cấu hình
Tôi đang sử dụng hệ điều hành Windows và chọn phiên bản Windows 64 bit để tương thích với tệp thực thi CoSort V10.5 SortCL. Khi bạn đã làm theo hướng dẫn và chấp nhận thỏa thuận cấp phép cho Trình cài đặt Simba, hãy mở Quản trị viên nguồn dữ liệu ODBC (64-bit) để định cấu hình kết nối.
Chỉ cần thêm và tìm trình điều khiển có tên “Trình điều khiển Simba ODBC cho Google BigQuery”.
Với trình điều khiển được chọn, trang thiết lập sẽ giống như sau:
Ở đây cấu hình thực sự đơn giản, bắt đầu bằng tên cho nguồn dữ liệu.
Tôi đã chọn tên Google BigQuery nhưng bạn có thể chọn bất kỳ tên nào cho trường hợp sử dụng của mình.
Để xác thực, hãy giữ tùy chọn mặc định Tài khoản Dịch vụ và chuyển xuống email. Tại đây bạn có thể sao chép và dán email tài khoản dịch vụ đã được tạo trước đó trong bài viết này.
Trường bên dưới (Đường dẫn tệp khóa) sử dụng đường dẫn đến tệp khóa JSON làm đầu vào. Ở dưới cùng nơi ghi Danh mục (Dự án), hãy nhấp vào menu thả xuống. Nếu mọi thứ được định cấu hình chính xác, nó sẽ hiển thị tên của dự án và nút có chứa bộ dữ liệu và bảng.
Bạn có thể làm tương tự đối với tùy chọn Dataset, nhấp vào menu thả xuống để chọn một tập dữ liệu cụ thể hoặc để trống để xem tất cả các tập dữ liệu trong dự án này. Cuối cùng là kiểm tra kết nối để đảm bảo mọi thứ hoạt động bình thường.
Khi ODBC được thiết lập, chúng tôi có thể định cấu hình trình điều khiển JDBC.
JDBC - Tải xuống và cấu hình
Tải xuống trình điều khiển JDBC từ CData tại đây. Sau khi cài đặt hoàn tất, sẽ có một thư mục có tên là GoogleBigQueryJDBCDriver với một setup.jar bên trong.
Setup.jar sẽ cài đặt tất cả các tệp cần thiết để kết nối JDBC hoạt động. Nó cũng chứa một jar đặc biệt để hỗ trợ tạo URL kết nối cho trình điều khiển JDBC.
Sau khi setup.jar hoàn tất quá trình cài đặt, chúng ta cần chuẩn bị sẵn các cấu hình trong Workbench. Trong Trình khám phá nguồn dữ liệu (bên trong Workbench), thêm kết nối mới bằng cách nhấp vào Cấu hình kết nối mới .
Một cửa sổ bật lên sẽ xuất hiện (như hình bên dưới) và đưa ra một số tùy chọn về loại kết nối có thể được tạo. Chọn JDBC Chung và đặt tên cho nó chẳng hạn như BigQuery, điều này sẽ giúp bạn dễ dàng phát hiện trong Trình khám phá nguồn dữ liệu.
Trang tiếp theo sẽ hướng dẫn bạn thiết lập trình điều khiển và cung cấp chi tiết kết nối. Nhấp vào Định nghĩa trình điều khiển mới trông giống như la bàn có dấu cộng màu xanh lục.
Trang sau cho phép bạn đặt tên cụ thể cho trình điều khiển nếu muốn. Di chuyển đến tab Danh sách JAR, đây là nơi các chum bắt buộc được thêm vào để trình điều khiển JDBC hoạt động.
Nếu vị trí mặc định được sử dụng khi cài đặt tệp cho trình điều khiển JDBC, thì vị trí đó phải nằm trong thư mục Tệp Chương trình với tên CData. Bên trong thư mục lib có một tệp Jar có tên là cdata.jdbc.googlebigquery.GoogleBigQueryDriver , thêm jar đó vào danh sách và chuyển đến tab Thuộc tính.
* Đường dẫn mặc định được hiển thị trong hình bên dưới nếu có bất kỳ sự cố nào khi định vị tệp jar *
Trong tab Thuộc tính, chúng ta cần tạo một URL kết nối, đặt tên cho Cơ sở dữ liệu và chỉ định Lớp trình điều khiển. Đầu tiên, tập trung vào việc tạo URL kết nối, trong File Explorer, hãy tìm tệp jar vừa được thêm vào và thực thi nó.
Điều này sẽ giúp tạo URL kết nối ở định dạng mà CData đề xuất. Như trong hình bên dưới, có các thuộc tính bên trái cần được thiết lập để tạo URL kết nối.
CData có tài liệu về những thuộc tính nào cần được thiết lập tùy thuộc vào cách người dùng chọn xác thực. Vì chúng tôi đang xác thực bằng Tài khoản dịch vụ nên các thuộc tính cần được thiết lập được liệt kê bên dưới.
- AuthScheme - Đặt thành OAuthJWT
- ProjectID - Nằm trên trang chủ của BigQuery
- InitiateOAuth - Đặt thành GETANDREFRESH
- OAuthJWTCertType - Đặt thành GOOGLEJSON
- OAuthJWTCert - Đường dẫn đến tệp .json do Google cung cấp
Sau khi tất cả các thuộc tính được thiết lập, hãy kiểm tra kết nối để đảm bảo rằng mọi thứ đang hoạt động. Nếu thành công, hãy sao chép chuỗi kết nối ở dưới cùng. Nếu thoát mà không sao chép URL kết nối, bạn sẽ phải đặt lại các thuộc tính.
Quay lại Workbench, dán URL bên cạnh thuộc tính URL kết nối và thêm tên của cơ sở dữ liệu cho thuộc tính Tên cơ sở dữ liệu. Đối với thuộc tính Driver Class, có một nút với ba dấu chấm trong trường trống.
Nhấp vào nó và nó sẽ cung cấp cho bạn tùy chọn nhập tên của lớp trình điều khiển hoặc để nó quét Danh sách JAR cho trình điều khiển. Khi mọi thứ đã hoàn tất, nó sẽ trông giống như sau:
Nhấp vào OK và bạn sẽ được đưa trở lại trang "Chỉ định trình điều khiển và chi tiết kết nối". Không cần thêm tên người dùng hoặc mật khẩu vì tất cả thông tin đều có trong URL kết nối. Kiểm tra kết nối lần cuối và nhấp vào kết thúc.
Giờ đây, cấu hình kết nối sẽ được hiển thị trong Trình khám phá nguồn dữ liệu và các lược đồ / bảng có thể được nhìn thấy khi bạn nhấp chuột phải vào cấu hình và chọn kết nối.
Nhiệm vụ cuối cùng là tạo một Sổ đăng ký Kết nối Dữ liệu ánh xạ DSN tới Cấu hình Kết nối vừa được tạo. Đi tới Trình đơn IRI, chọn tùy chọn và định vị Sổ đăng ký kết nối dữ liệu như hình bên dưới gợi ý.
Bên trái là DSN và bên phải là các cấu hình kết nối. Tìm DSN được tạo trong phần ODBC ở trên và nhấp vào Chỉnh sửa…. Chọn DSN, phiên bản và cấu hình kết nối.
Vì DSN có thông tin xác thực được lưu trong URL kết nối nên không cần xác thực bằng người dùng / mật khẩu. Nhấp vào OK và Áp dụng và Đóng để thoát khỏi menu.
Bây giờ bạn đã hoàn tất các bước kết nối cơ sở dữ liệu cho Google BigQuery. Nếu bạn cần hỗ trợ, hãy gửi email tới [email protected].
