Tôi đã thực hành các kỹ thuật cơ sở dữ liệu nhanh trong khoảng hai mươi năm nay. Việc sử dụng các kỹ thuật này của tôi không bắt đầu như một kế hoạch đã định; đúng hơn, nó phát triển theo thời gian khi tôi tham khảo ý kiến về các dự án khác nhau. Thật hợp lý khi tìm kiếm các cách làm việc nhanh hơn và tương tác với khách hàng nhiều hơn.
Tôi có thể nghĩ ra ít nhất ba loại kỹ thuật cơ sở dữ liệu nhanh:
- Mô hình hóa dữ liệu
- Phát triển kho dữ liệu
- Kỹ thuật đảo ngược cơ sở dữ liệu
Mô hình hóa dữ liệu linh hoạt
Nhiều người nghĩ về việc lập mô hình dữ liệu là một công việc tốn nhiều công sức. Nhưng đó không phải là trường hợp. Bạn có thể đưa mô hình dữ liệu ra khỏi phòng sau và thực hiện trước mặt khách hàng. Bạn có thể nghĩ rằng khách hàng sẽ bị ảnh hưởng bởi máu me kỹ thuật, nhưng thực tế không phải vậy. Nhân viên kinh doanh có niềm đam mê với công việc và tầm nhìn về nơi họ muốn đến. Họ rất vui khi có CNTT như một người hỗ trợ hơn là một rào cản.
Để lập mô hình dữ liệu nhanh, nhà phát triển cần thực hiện những việc sau:
- Thông thạo các khái niệm mô hình hóa dữ liệu và công cụ mô hình hóa dữ liệu.
- Tạo cho bạn một đám đông thân thiện trong vài lần đầu tiên của bạn. Bạn cần thử các kỹ thuật của mình đối với khán giả nuôi dưỡng cho đến khi bạn có được sự tự tin.
- Có ít nhất một người ủng hộ doanh nghiệp trong lòng khán giả - người tiếp nhận kết quả công việc của bạn, người hiểu sâu sắc về doanh nghiệp và sẽ giúp thúc đẩy những người khác đồng thuận.
- Có một dự án vững chắc với mục tiêu rõ ràng và lý do kinh doanh.
Với mô hình hóa dữ liệu nhanh, các nhà phát triển làm việc nhanh chóng và cung cấp các bản sửa đổi mô hình thường xuyên. Tôi muốn có các phiên lập mô hình dữ liệu kéo dài không quá hai giờ. Các phiên họp này rất căng thẳng, với mọi người đều xoay quanh các ý tưởng. Sau hai giờ, những người tham gia sẽ cần nghỉ ngơi. Bạn cũng sẽ cần thời gian để dọn dẹp mô hình và cập nhật tài liệu.
Các kỹ thuật Agile áp dụng cho tất cả các khía cạnh của mô hình dữ liệu, bao gồm hệ thống hoạt động hàng ngày, kho dữ liệu, mô hình dữ liệu tổng thể và mô hình dữ liệu doanh nghiệp.
Kỹ thuật phát triển kho dữ liệu linh hoạt
Các kỹ thuật nhanh cũng rất quan trọng khi bạn đang xây dựng một kho dữ liệu. Cụ thể, có hai lĩnh vực mà chúng tôi đã và đang áp dụng những kỹ thuật này để phát triển kho hàng.
Đầu tiên là phân chia dữ liệu . Một thực tiễn tốt là sử dụng các bảng dàn xếp trung gian để đệm kho hàng từ các nguồn hoạt động. Các bảng dàn sao sao chép dữ liệu hoạt động và thêm siêu dữ liệu như hệ thống nguồn, ngày xử lý, dấu thời gian hiệu lực và dấu thời gian hết hạn. Hiện tại, hầu hết các nhà phát triển đều xử lý dữ liệu dàn dựng bằng mã ETL tùy chỉnh. (ETL là từ viết tắt của Extract, Transform và Load.) Có ít nhất một công cụ (Dữ liệu A2B) tự động hóa việc tạo và tập hợp các lược đồ bảng theo giai đoạn.
Chúng tôi cũng đang sử dụng các kỹ thuật nhanh để cải thiện việc xử lý dữ liệu kho . Đối với điều này, chúng tôi ưu tiên kết hợp ETL và SQL. ETL được sử dụng cho các bảng cốt lõi có logic phức tạp, trong khi SQL được sử dụng cho các bảng ngoại vi - và có rất nhiều bảng trong một kho điển hình. Viết SQL nhanh hơn khoảng 10 lần so với ETL. Mã SQL cũng dễ phát triển và kiểm tra hơn. Một cách hợp lý, bạn có thể mong đợi thay thế ETL bằng SQL cho khoảng một nửa số bảng; số lượng chính xác phụ thuộc vào độ phức tạp của kho hàng và kỹ năng SQL của bạn.
Những cải tiến này làm giảm số lượng mã ETL cần viết trong khi triển khai mã ở nơi có giá trị nhất:dành cho các tập dữ liệu lớn có nhiều nguồn để tích hợp và xử lý.
Sự nhanh nhạy trong kỹ thuật đảo ngược cơ sở dữ liệu
Chúng tôi cũng sử dụng các kỹ thuật nhanh nhẹn trong quá trình thiết kế ngược. Kỹ thuật đảo ngược lấy một thiết kế hiện có và hoạt động ngược lại để suy ra ý định logic cơ bản. Kỹ thuật đảo ngược cơ sở dữ liệu có thể có nhiều động cơ khác nhau. Bạn có thể đang chuyển đổi từ nền tảng cơ sở dữ liệu này sang nền tảng cơ sở dữ liệu khác. Hoặc bạn có thể đang cố gắng hiểu rõ hơn về mô hình cho mục đích bảo trì. Hoặc bạn có thể đang cố gắng khôi phục các yêu cầu tiềm ẩn trong một lược đồ để phần mềm mới xem xét.
Chúng tôi thường bắt đầu bằng cách phân tích lược đồ hiện có. Một lược đồ thường có sẵn và đó là thứ mà chúng tôi có thể nghiên cứu nhanh chóng. Chúng tôi có thể tăng cường điều này với các tài nguyên khác, chẳng hạn như tài liệu, dữ liệu và các cuộc trò chuyện với nhà phát triển.
Công cụ mô hình hóa dữ liệu là một nguồn tài nguyên quan trọng để nghiên cứu lược đồ. Hầu hết các công cụ có thể nhập lược đồ SQL để bạn có thể xem các bảng và cách chúng kết nối với nhau. Thông thường, điều đó là đủ để phân tích kỹ thuật đảo ngược.
Kỹ thuật cơ sở dữ liệu nhanh:Chìa khóa
Phát triển nhanh là một chủ đề phổ biến có một số hàm ý về cơ sở dữ liệu. Một cách tiếp cận nhanh rất hữu ích cho việc lập mô hình dữ liệu, phát triển kho dữ liệu và thiết kế ngược cơ sở dữ liệu.
Michael Blaha là một nhà tư vấn và đào tạo chuyên về hình thành, kiến trúc, mô hình hóa, thiết kế và điều chỉnh cơ sở dữ liệu. Ông đã làm việc với hàng chục tổ chức trên khắp thế giới. Tiến sĩ Blaha đã là tác giả của bảy bằng sáng chế của Hoa Kỳ, bảy cuốn sách, nhiều bài báo và hai khóa học video. Ấn phẩm gần đây nhất của anh ấy là Thiết kế kho dữ liệu nhanh nhẹn khóa học video từ O’Reilly. Ông nhận bằng tiến sĩ tại Đại học Washington ở St. Louis, và là cựu sinh viên của GE Global Research ở Schenectady, New York. Bạn có thể tìm thêm thông tin trên hồ sơ LinkedIn của anh ấy hoặc tại superdataguy.com.
