Thứ nguyên là một cấu trúc phân loại tập hợp thông tin để có thể thu được câu trả lời có ý nghĩa cho các câu hỏi liên quan đến thông tin đó. Các chiều trong quản lý dữ liệu và kho dữ liệu chứa dữ liệu tương đối tĩnh; tuy nhiên, dữ liệu thứ nguyên này có thể thay đổi chậm theo thời gian và trong những khoảng thời gian không thể đoán trước được. Các loại dữ liệu thứ nguyên này được gọi là Kích thước thay đổi chậm (SCD).
Trong môi trường kho dữ liệu, bảng thứ nguyên có khóa chính xác định duy nhất từng bản ghi và các phần thông tin khác được gọi là dữ liệu thứ nguyên. Khóa chính sẽ liên kết đến một bảng dữ kiện bằng cách sử dụng khóa này. Vì vậy, điều quan trọng là phải có một mô hình để cập nhật và xử lý dữ liệu hiện tại và dữ liệu lịch sử. Có các mô hình được công nhận được biết đến theo loại của chúng:
- Loại 1 - Mô hình này liên quan đến việc ghi đè giá trị hiện tại cũ bằng giá trị hiện tại mới. Không có lịch sử nào được duy trì.
- Loại 2 - Bản ghi hiện tại và bản ghi lịch sử được lưu giữ và duy trì trong cùng một tệp hoặc bảng.
- Loại 3 - Dữ liệu hiện tại và dữ liệu lịch sử được lưu giữ trong cùng một bản ghi. Người dùng quyết định lượng lịch sử được lưu trong hồ sơ.
- Loại 4 - Trong mô hình này, dữ liệu hiện tại được duy trì trong hai bảng khác nhau; một cho dữ liệu hiện tại và một chứa tất cả dữ liệu lịch sử.
- Loại 6 - Mô hình này là sự kết hợp của Loại 1, Loại 2 và Loại 3.
Tất cả các phương pháp cập nhật cho các mô hình SCD khác nhau có thể được thực hiện bằng cách sử dụng chương trình SortCL trong IRI CoSort hoặc IRI Voracity. Voracity hiện cũng cung cấp một trình hướng dẫn tạo công việc đầu cuối để xây dựng các chương trình này một cách tự động; xem bên dưới. Hầu hết các loại sử dụng một kết nối bên ngoài đầy đủ để khớp các bản ghi từ nguồn dữ liệu chính với các bản ghi trong nguồn cập nhật dựa trên việc cân bằng một khóa duy nhất từ mỗi loại. Hồ sơ với các trận đấu cần được cập nhật trong bản chính. Bản ghi trong nguồn cập nhật không khớp cần được thêm vào bản chính.
Các bài viết của tôi về các loại SCD khác nhau hiển thị nguồn hoặc dữ liệu đầu vào trong các tệp và hiển thị các tập lệnh SortCL được sử dụng để cập nhật các tệp chính. Các bảng cũng có thể là một nguồn chứa các tập lệnh này.
Trong mỗi ví dụ, tôi đề cập đến các bước để cập nhật nguồn thứ nguyên duy trì chi phí sản phẩm thay đổi theo khoảng thời gian bất thường. Trường hoặc cột quan trọng là Mã sản phẩm. Tất cả các tệp chính nguồn sẽ chứa dữ liệu sau:
Nguồn master1.dat chứa:
| Mã sản phẩm | Chi phí | Ngày Bắt đầu |
|---|---|---|
| C123 | 125,50 | 20110228 |
| F112 | 2365,00 | 20120101 |
| G101 | 19,25 | 20110930 |
| J245 | 450.50 | 20110430 |
| S022 | 98,75 | 20110515 |
Dữ liệu cập nhật sẽ có cùng Ngày bắt đầu. Nguồn cập nhật chứa dữ liệu sau:
| Mã sản phẩm | Chi phí | Ngày Bắt đầu |
|---|---|---|
| F112 | 2425,00 | 20120701 |
| J245 | 550.50 | 20120701 |
| M447 | 101,75 | 20120701 |
| S022 | 101,75 | 20120701 |
Báo cáo SCD cũng được thảo luận trên trang web IRI tại đây. Xem các bài viết này dành riêng cho SCD:Loại 1, Loại 2, Loại 3, Loại 4 và Loại 6.
Trình hướng dẫn đồ họa SCD mới
Người dùng Voracity giờ đây cũng có thể sử dụng trình hướng dẫn tạo công việc có mục đích để báo cáo về các loại SCD 1, 2, 3, 4 và 6 trong IRI Workbench GUI, được xây dựng trên Eclipse. Trình hướng dẫn cũng hỗ trợ tích hợp sắp xếp, đánh giá biểu thức, tổng hợp, định dạng mới, mã hóa và hơn thế nữa.
Sau khi thiết lập công việc và chọn loại SCD trong trình hướng dẫn, bạn chỉ định dữ liệu chính và thông tin cập nhật. Sau đó, bạn chỉ định ánh xạ cho mục tiêu, đặt các trường thẳng hàng với các trường nguồn phù hợp và sử dụng các hộp tổ hợp nếu cần, làm việc với các tập trường hiện tại và lịch sử. Sau khi kết hợp thông tin được chỉ định trên trang Tham gia nguồn, tập lệnh thích hợp được tạo và sẵn sàng để lập sơ đồ, thực thi, sửa đổi hoặc chia sẻ.
Các bài viết liên quan đến các loại trên sẽ được cập nhật để phản ánh cách trình hướng dẫn SCD mới trong Voracity có thể tự động tạo các công việc này cho bạn.
