Apache HBase đã trở thành một dự án cấp cao nhất với Apache 10 năm trước và Cloudera bắt đầu đóng góp cho nó cùng thời điểm (2010). Trong thời gian này, nó đã trở thành một trong những công cụ nguồn mở lớn nhất và phổ biến nhất trong dữ liệu lớn và là một trong những cơ sở dữ liệu NoSQL phổ biến nhất.
Tổ chức phần mềm Apache thông báo kỷ niệm 10 năm thành lập Apache HBase
HBase hỗ trợ cả cơ sở dữ liệu NoSQL dạng khóa và giá trị cột rộng và được các doanh nghiệp sử dụng rộng rãi. Cloudera có hơn 500 khách hàng đang sản xuất sử dụng nó cho các trường hợp sử dụng khác nhau, từ các ứng dụng giao dịch quan trọng, kho dữ liệu, máy học và kỹ thuật dữ liệu. Khách hàng của chúng tôi chọn HBase vì khả năng phục hồi của nó (với một số khách hàng có thể nhận ra 100% thời gian hoạt động của ứng dụng trong nhiều năm), tính ổn định, hiệu suất và chi phí vận hành thấp. Khách hàng của Cloudera triển khai nó độc lập, cùng với Phoenix, là cơ sở dữ liệu dựa trên SQL được xây dựng trên HBase và đôi khi với Apache Impala và / hoặc Apache Hive cho phép họ chạy các truy vấn OLAP dựa trên SQL trên HBase.
Tôi là Giám đốc sản phẩm cung cấp Cơ sở dữ liệu hoạt động của Cloudera từ năm 2018 và có cơ hội gặp gỡ với nhiều khách hàng của chúng tôi. Tôi liên tục bị ấn tượng bởi nhiều cách khách hàng sử dụng HBase. Phạm vi của các trường hợp sử dụng rất lớn và đa dạng đến mức nó bất chấp sự phân khúc. Sau nhiều lần phân tích, tôi đã kết thúc bằng một cách tiếp cận đơn giản để phân loại các trường hợp sử dụng - những khách hàng sử dụng nó để hỗ trợ các ứng dụng quan trọng và những khách hàng không sử dụng. Các ứng dụng quan trọng trong sứ mệnh có xu hướng mang tính chất giao dịch và giúp khách hàng của chúng tôi thúc đẩy doanh thu hàng đầu của họ và / hoặc thúc đẩy hiệu quả hoạt động. Đối với họ, nếu HBase đi xuống dòng trên cùng và / hoặc dòng dưới cùng sẽ bị ảnh hưởng và trong trường hợp xấu nhất, mọi người có thể chết.
Ví dụ về các trường hợp sử dụng Mission-Critical:
- Một nhà cung cấp phần mềm chăm sóc sức khỏe sử dụng HBase để cung cấp năng lượng cho hàng trăm ứng dụng. Nếu các ứng dụng này không thành công, vì bất kỳ lý do gì, mọi người có thể chết và chi phí chăm sóc sức khỏe tăng lên. Khách hàng này đã triển khai HBase trên hơn 7.000 nút với hơn 70PB dữ liệu.
- Một nhà sản xuất điện thoại di động sử dụng HBase để kích hoạt trợ lý giọng nói và nhiều trường hợp sử dụng khác trên hơn 6.000 nút
- Một công ty truyền thông tài chính sử dụng HBase để cung cấp năng lượng cho các bộ phận của nền tảng và cho phép các nhà giao dịch và những người khác hiểu được bối cảnh liên quan xung quanh các biến động, xu hướng giá cổ phiếu, v.v. trên hơn 1.200 nút
- Nền tảng tiếp thị qua email hàng đầu thị trường chạy HBase trên ~ 1.000 nút
- Nhà cung cấp bảo hiểm sử dụng HBase trên ~ 1.000 nút để lưu trữ tất cả thông tin yêu cầu bồi thường và sử dụng nó để quản lý các yêu cầu bồi thường đó trong suốt vòng đời của họ
- Một nhà cung cấp dịch vụ thư viện sử dụng HBase trên hơn 400 nút để hỗ trợ các khoản vay liên thư viện trên khắp thế giới
- Một công ty phân phối điện toàn cầu sử dụng HBase trên hơn 400 nút để nhập số đọc từ hơn 7 triệu công tơ thông minh và để thực hiện việc triển khai tự động các nhóm sửa chữa cho mạng phân phối điện, các ứng dụng thanh toán điện và thúc đẩy đào tạo liên tục các mô hình học máy
- Viễn thông lớn nhất Indonesia, Telkomsel, với hơn 170 triệu khách hàng, đã chuyển toàn bộ ứng dụng CRM của họ từ cơ sở dữ liệu MPP cũ sang HBase và Impala và có thể đạt được thời gian phản hồi dưới giây vào tất cả các truy vấn CRM dành cho người dùng cá nhân, hồ sơ cuộc gọi, hồ sơ, số lần sạc lại, sử dụng dữ liệu, v.v. Lợi ích của việc Impala truy vấn HBase là đảm bảo giao diện tương thích ANSI SQL có thể truy cập thông qua JDBC để giảm thiểu các thay đổi trong CRM.
Ví dụ về các trường hợp sử dụng Không quan trọng:
- Một nhà sản xuất sản phẩm chăm sóc cá nhân sử dụng HBase để quản lý tất cả thương hiệu sản phẩm và tài liệu tiếp thị của họ
- Một nhà sản xuất chất bán dẫn sử dụng HBase để lưu trữ các tệp nhật ký từ sản phẩm của họ và trích xuất chúng sang các hệ thống khác để phân tích
- Một nhà cung cấp dịch vụ viễn thông sử dụng HBase để lưu trữ bảng kích thước của họ cho Hive
Điều khiến HBase khác biệt với các dịch vụ NoSQL khác là sự tích hợp của nó trên Hệ sinh thái Dữ liệu lớn, Nguồn mở, cho phép khách hàng có trải nghiệm đầu cuối. Họ có thể sử dụng nó cho các ứng dụng cần dữ liệu từ biên hoặc các ứng dụng cần cung cấp các mô hình AI / ML trên quy mô lớn hoặc bất kỳ sự kết hợp nào của chúng.
Một trong những phiếu hỗ trợ thú vị nhất mà tôi đã thấy tại Cloudera là khi một khách hàng của HBase gửi một phiếu ưu tiên cao cho biết việc triển khai nhiệm vụ quan trọng của họ đã bị thất bại. Họ đã không tương tác với chúng tôi trong hơn một năm và tôi thậm chí không biết họ là một khách hàng quan trọng. Trong trường hợp này, tôi mới biết rằng họ đã triển khai 1.000 nút để cung cấp sức mạnh cho nền tảng tiếp thị đa kênh trên HBase. Gốc của vấn đề là họ đã thực hiện một số thay đổi có vấn đề đối với cài đặt cấu hình của họ 9 tháng trước khi sự cố xảy ra. Cuối cùng khi họ khởi động lại, cài đặt cấu hình có vấn đề đã có hiệu lực khiến họ yêu cầu Cloudera giúp đỡ!
Cloudera quan tâm sâu sắc đến HBase và có 15 thành viên cam kết &PMC trong dự án. Chúng tôi cũng đang đầu tư để làm cho nó có sẵn trên đám mây công cộng, với cả các yếu tố dạng PaaS-like và dbPaaS.
Trải nghiệm của HBase qua nhiều năm
Với cam kết và lịch sử lâu dài của chúng tôi với dự án này, chúng tôi muốn chia sẻ một số kinh nghiệm và câu chuyện liên quan đến dự án này từ toàn bộ nhóm Cloudera.
“Nhiều năm trước, tôi đang tham dự một hội nghị kỹ thuật tập trung Apache Hadoop. Vào một buổi tối muộn, tôi đang đi bộ về phòng và tình cờ nhìn thấy một nhóm người mà tôi nhận ra là khách hàng lâu năm đang tụ tập quanh một chiếc bàn. Bây giờ, đây là một nhóm các cá nhân rất có năng lực mà tôi đã làm việc cùng trong nhiều năm. Tôi vòng qua, định chào ngắn gọn và lên đường sau một ngày dài. Hóa ra, họ đang gặp sự cố ngừng sản xuất trên một trong các hệ thống của mình và đang cố gắng khắc phục sự cố. Tôi ngồi xuống, rút máy tính xách tay ra và trò chuyện với họ trong vài giờ tiếp theo trong khi chúng tôi phân tích vấn đề và giải quyết các vấn đề mà chúng tôi tìm thấy. Việc hỗ trợ các ứng dụng mang tính chất quan trọng đôi khi đòi hỏi sự anh hùng, nhưng đôi khi bạn cũng tìm thấy một số con chim nhỏ trên đường đi. ”
- Kỹ sư cao cấp
“Về bản chất của nhiều doanh nghiệp, điều tối quan trọng là có thể mở rộng quy mô và vẫn đáp ứng các yêu cầu về độ trễ thấp của hệ thống quan trọng của họ. Nếu bạn nhìn lại các tài liệu lưu trữ, khách hàng của chúng tôi đã có những khoảng thời gian khó khăn để đáp ứng các tiêu chuẩn khó khăn như vậy. HBase có các yếu tố giúp bạn dễ dàng đáp ứng những kỳ vọng đó, đặc biệt là bằng cách giảm thiểu thời gian để kích hoạt hành động tốt nhất tiếp theo. ”
- Kiến trúc sư giải pháp chính
“Ba năm trước, tôi là Giám đốc Kỹ thuật gia nhập mới tại Cloudera. Tôi đã từng biết về hoạt động nguồn mở của công ty và tôi là người dùng GNU Linux từ thời trung học, nhưng việc sử dụng mã nguồn mở và trở thành một phần của nó thì hoàn toàn khác.
Là một người mới ở công ty, tôi phải hiểu những gì nhóm làm, vì vậy tôi đã nhận một vài vé hỗ trợ được giao cho bản thân và bắt đầu làm việc với chúng. Tôi chỉ biết hai điều, tôi là một nhà phát triển Java trong nhiều năm nên tôi phải làm được và Hortonworks là đối thủ cạnh tranh thách thức nhất của chúng tôi, điều đó có nghĩa là sẽ rất thú vị khi làm việc với họ.
Và rồi nó đã xảy ra, với tấm vé Apache HBase đầu tiên của tôi, tôi tình cờ gặp Josh Elser - trưởng nhóm HBase của Hortonworks - người đã cho tôi thấy rằng việc thực hiện một nhiệm vụ mới có thể khó hơn mong đợi (với những chất lượng mà nhóm HBase có) và điều đó đối thủ cạnh tranh của bạn có thể là đối tác tốt nhất của bạn trong cộng đồng nguồn mở. Cuối cùng, anh ấy đã cam kết những thay đổi của tôi.
Trong ba năm qua, nhiều thứ đã thay đổi. Cloudera và Hortonworks hợp nhất, giờ chúng tôi làm việc ở cùng một công ty nhưng Apache và HBase thì giống nhau. Tôi có thời gian hạn chế để làm việc trên mã nhưng thấy sức mạnh của nó, xem cách nó được sử dụng cho các dịch vụ mà tôi không biết đã tồn tại và tôi thấy cách nó khiến mọi người trên toàn thế giới làm việc cùng nhau. Nó kết nối mọi người qua các công ty, lục địa, văn hóa. ”
- Giám đốc Kỹ thuật
“HBase và Phoenix rất dễ học. Trung tâm dữ liệu giúp bạn dễ dàng bắt đầu và hiện đang mong muốn Cơ sở dữ liệu hoạt động của Cloudera đưa HBase phát triển trong thập kỷ tới. ”
- Người quản lý thành công khách hàng kỹ thuật
“Trong 9 năm qua, tôi đã làm việc từ tiền tuyến cho sự phát triển của HBase và thấy được sự phát triển của cách khách hàng của chúng tôi sử dụng HBase từ POC sang các nền tảng quan trọng, có quy mô lớn. Thời điểm đáng chú ý nhất trong thời gian này là trước khi hợp nhất Cloudera và Hortonworks khi các nhóm của cả hai công ty làm việc cùng nhau để cải thiện chức năng của một tính năng sản phẩm quan trọng. Cuối cùng, tác phẩm đã được giới thiệu tại HBaseCon và nhận được sự công nhận tuyệt vời của hai trong số những người dùng lớn nhất của HBase. Tính năng này, hỗ trợ một chức năng quan trọng được hơn 2B thiết bị di động trên khắp thế giới sử dụng ”.
- Kỹ sư cao cấp
“Một khoảnh khắc tuyệt vời khác trong 10 năm qua của HBase, là tại HBaseCon 2015 khi Trang Carter của Google đã công nhận sự công nhận của công chúng về cách HBase phát triển thành một dự án rất vững chắc”
- Kỹ sư cao cấp
“Tôi rất vui khi được tham dự gần như tất cả các HBaseCons (và nói chuyện với một số trong số họ). Đây là ba kỷ niệm HBaseCon yêu thích của tôi:(1) Sự đa dạng của HBase:thông báo HBase 2.0 không chỉ nêu bật số lượng JIRA được vận chuyển mà còn cả số lượng người cam kết HBase và thành viên PMC từ bên ngoài Hoa Kỳ cộng với một phụ nữ lãnh đạo HBase PMC , (2) Động lực của HBase:Thông báo của Facebook rằng họ sẽ rời khỏi fork tùy chỉnh của mình để đi ngược dòng Apache HBase 100%, và (3) bước đệm của HBase:tại một HBaseCon, một nhà phát triển Bloomberg đã đưa ra một bài nói chuyện về bản sao và sau đó là hai HBaseCon sau đó , một nhà phát triển của Apple đã đưa ra bài phát biểu quan trọng của HBaseCon về việc sử dụng các bản sao đã đọc trong quá trình sản xuất. ”
- Kỹ sư hệ thống cao cấp
Tại Cloudera, chúng tôi tiếp tục nhìn thấy một tương lai tươi sáng cho dự án này và kỳ vọng nó sẽ phát triển để cung cấp năng lượng cho các ứng dụng thế hệ tiếp theo được xây dựng trên đám mây ở dạng giống PaaS và dbPaaS cũng như trong trung tâm dữ liệu với đám mây riêng.
Để xem trước những gì sắp xảy ra, hãy xem Mẫu cơ sở dữ liệu hoạt động của đám mây công cộng CDP .
