Tên của các sản phẩm phần mềm IRI và cách chúng chạy đôi khi là một nguồn bí ẩn, hoặc thậm chí gây nhầm lẫn, đối với những người chưa biết. Bài viết này giải thích các mảng và làm rõ mối quan hệ qua lại của chúng, cung cấp thông tin sơ lược nhanh chóng cho người dùng tiềm năng, đối tác và phân tích ngành mới sts.
Mọi chuyện bắt đầu từ đâu
Nó bắt đầu với IRI CoSort vào năm 1978, tiện ích sắp xếp, chuyển đổi và báo cáo dữ liệu lớn cho Unix và Windows vẫn được sử dụng rộng rãi cho đến ngày nay. Trước CoSort, sản phẩm IRI đầu tiên này được gọi là CO-SORT, COSORT và CoSORT, theo thứ tự đó.
Năm 1992, IRI đã thêm chương trình thao tác và cú pháp định nghĩa dữ liệu Ngôn ngữ Điều khiển Sắp xếp (SortCL) vào các tiện ích và API khác trong gói CoSort. Ngày nay, SortCL là giao diện người dùng được sử dụng rộng rãi nhất và có nhiều tính năng trong gói CoSort.
Các tập lệnh SortCL xác định và chương trình sortcl chạy, các công việc thực hiện và kết hợp nhiều tác vụ ánh xạ và di chuyển dữ liệu phổ biến mà người dùng CoSort cần chạy. SortCL không chỉ là một 4GL đơn giản để học, đọc và sửa đổi, mà nó còn được hỗ trợ thông qua một API (được gọi là sortcl_routine) và bằng đồ họa trong IRI Workbench IDE miễn phí, được xây dựng trên Eclipse.
Khi chức năng SortCL được mở rộng, nó phát triển nhanh hơn thị trường CoSort truyền thống để di chuyển sắp xếp và tăng tốc BI / DW. Ngày nay, tệp thực thi SortCL không chỉ là công cụ chạy hầu hết các công việc CoSort, mà nó còn là trái tim đập của một số sản phẩm phụ, được minh họa ở đây:
Sản phẩm Spin-Off CoSort / SortCL
Cụ thể, cùng một công cụ SortCL và các tập lệnh công việc tương thích - thường được thiết kế và thường được quản lý từ IRI Workbench, xử lý các nguồn dữ liệu có cấu trúc trong:
- IRI FieldShield và IRI DarkShield để tạo mặt nạ dữ liệu
- IRI RowGen để kiểm tra tổng hợp dữ liệu và thiết lập con cơ sở dữ liệu
- IRI NextForm để chuyển đổi và nhân rộng dữ liệu và cơ sở dữ liệu và,
- Các công việc trên nền tảng quản lý dữ liệu IRI Voracity, bao gồm các công việc trong CoSort và các sản phẩm được liên kết ở trên, plus các khả năng bổ sung phía trước thông qua GUI Workbench chung, như:
- Khám phá dữ liệu (lập hồ sơ, phân loại và tìm kiếm)
- Kho dữ liệu ETL, CDC và SDC
- Quá trình tạo mẫu và di chuyển Data Vault 2.0
- Chất lượng dữ liệu (xác thực, làm sạch, đồng nhất)
- Phân tích hoặc dữ liệu xung quanh cho Splunk và KNIME cũng như các công cụ BI khác thông qua chuyển giao
Một cách khác để xem xét phân cấp sản phẩm là theo cách này:
nơi Workbench IDE là nơi thiết kế tất cả các công việc sản phẩm IRI - bao gồm cả những tính năng bổ sung được hỗ trợ trong Voracity.
Câu hỏi Thường gặp
Vì SortCL bắt đầu với CoSort và phổ biến cho tất cả các sản phẩm này, điều này có nghĩa là tôi có thể sử dụng CoSort hoặc một sản phẩm khác ở trên để làm những gì mà các sản phẩm khác làm không?
Câu trả lời là có hoặc không. Có, bạn có SortCL và về lý thuyết có thể hoàn thành một số công việc tương tự như một sản phẩm IRI tương thích với SortCL khác được sử dụng để thực hiện. Nhưng nó sẽ khó khăn hơn và thể hiện rủi ro sản xuất. IRI chỉ cung cấp tài liệu và hỗ trợ cho các tác vụ được liên kết tốt nhất với (các) sản phẩm IRI được cấp phép của bạn.
Do đó, khả năng phân tần bị hạn chế trong thực tế. Tuy nhiên, chức năng tổ hợp phổ biến trong nhiều trường hợp (như một tập hợp con DB được sắp xếp) và trong Voracity, các trường hợp sử dụng đa tác vụ, nhiều bước (như ánh xạ gia tăng, tạo mặt nạ, làm sạch và định dạng lại) có hiệu quả cao và được hỗ trợ đầy đủ.
SortCL là công cụ mặc định trong tất cả IRI Voracity CDC, ETL, CDC, làm sạch, đối chiếu, tập hợp con ,
Công việc tạo mặt nạ PII, tổng hợp dữ liệu thử nghiệm, chuyển đổi, định dạng lại, kết thúc, phân tích và báo cáo.
Kiến trúc thời gian chạy
Bây giờ bạn đã biết tên của các sản phẩm, hãy xem cách chúng tương tác và triển khai.
Phần mềm IRI thường hoạt động trong mô hình máy khách / máy chủ, trong đó các công việc tương thích với SortCL được xác định trong môi trường soạn thảo front-end như IRI Workbench hoặc trình soạn thảo văn bản khác hoặc thông qua API IRI. Những công việc đó thường chạy trong chương trình back-end SortCL trên máy Linux, Unix hoặc Windows (vật lý hoặc ảo), tại chỗ hoặc trên đám mây:
Một số công việc được viết theo cú pháp SortCL cũng có thể chạy mà không cần sửa đổi trực tiếp trong Map Reduce 2, Spark, Spark Stream, Story hoặc Tez cho những người được cấp phép phiên bản Voracity Grid (VGrid) cho Hadoop.
Tuy nhiên, lưu ý rằng không giống như nhiều ETL và chương trình che dữ liệu khác, không có máy chủ CoSort nơi SortCL phải chạy hoặc được quản lý tập trung. Tệp thực thi SortCL nhẹ có thể chạy ở mọi nơi từ Raspberry Pi đến máy tính lớn z / Linux.
Do đó, theo sơ đồ trên, các trang web thường cài đặt các phiên bản Kiểm tra và Phân loại QA trên máy tính xách tay của nhà phát triển chạy IRI Workbench, cũng như trên các máy chủ cơ sở dữ liệu hoặc tệp tập trung để tối ưu hóa hiệu suất. Câu hỏi thường gặp này bao gồm câu hỏi về nơi cấp phép SortCL, ví dụ:trong ngữ cảnh của các sản phẩm che dữ liệu IRI và cách tính chi phí của nó cho phù hợp.
Nếu bạn có bất kỳ câu hỏi nào về sản phẩm IRI nào bạn cần hoặc cách triển khai sản phẩm đó tốt nhất trên phần cứng bạn có (hoặc dự định cung cấp), vui lòng liên hệ với đại diện IRI của bạn.
