MongoDB
 sql >> Cơ Sở Dữ Liệu >  >> NoSQL >> MongoDB

SCUMM:Cơ sở hạ tầng giám sát cơ sở dữ liệu dựa trên tác nhân trong ClusterControl

Với bản phát hành 1.7 của sản phẩm hàng đầu ClusterControl, chúng tôi đã giới thiệu cơ sở hạ tầng giám sát dựa trên tác nhân mới:SCUMM - mà blog này thảo luận chi tiết hơn.

Là yếu tố cốt lõi của sản phẩm của chúng tôi, ClusterControl cung cấp một hệ thống giám sát hoàn chỉnh với dữ liệu thời gian thực để biết điều gì đang xảy ra hiện tại, với các chỉ số độ phân giải cao để có độ chính xác tốt hơn, bảng điều khiển được định cấu hình trước và một loạt các dịch vụ thông báo của bên thứ ba để cảnh báo .

Hệ thống tại chỗ và đám mây có thể được giám sát và quản lý từ một điểm duy nhất.

Kiểm tra tình trạng thông minh được triển khai cho các cấu trúc liên kết phân tán, chẳng hạn như phát hiện phân vùng mạng bằng cách tận dụng chế độ xem của bộ cân bằng tải đối với các nút cơ sở dữ liệu.

Và ... giám sát có thể không có tác nhân thông qua SSH hoặc dựa trên tác nhân ... đó là nơi SCUMM xuất hiện!

Hệ thống SCUMM mới của ClusterControl dựa trên tác nhân, với máy chủ lấy số liệu từ các tác nhân chạy trên cùng một máy chủ như cơ sở dữ liệu được giám sát và sử dụng tác nhân Prometheus để có độ chính xác cao hơn và các tùy chọn tùy chỉnh trong khi theo dõi các cụm cơ sở dữ liệu của bạn.

Nhưng tại sao lại SCUMM và tất cả về nó là gì?

Giới thiệu về SCUMM

SCUMM - Giám sát và Quản lý Hợp nhất của Somenines CMON - là cơ sở hạ tầng giám sát dựa trên tác nhân mới của chúng tôi.

Cơ sở hạ tầng giám sát này bao gồm hai thành phần chính:

Thành phần đầu tiên là máy chủ Prometheus hoạt động như cơ sở dữ liệu chuỗi thời gian và lưu trữ các số liệu đã thu thập.

Thành phần thứ hai là nhà xuất khẩu. Có thể có một hoặc nhiều nhà xuất khẩu chịu trách nhiệm thu thập số liệu từ một nút hoặc một dịch vụ. Máy chủ Prometheus thu thập các số liệu này (được gọi là quét) từ các nhà xuất qua HTTP. Trên hết, chúng tôi đã tạo một tập hợp các trang tổng quan để trực quan hóa các chỉ số được thu thập.

Các lợi ích chính là:

  1. Thu thập số liệu với các nhà xuất khẩu Prometheus được cộng đồng hỗ trợ
    1. Ví dụ về dữ liệu từ Lược đồ Hiệu suất MySQL hoặc ProxySQL
  2. Một số trang tổng quan chuyên biệt hiển thị các chỉ số quan trọng nhất và xu hướng lịch sử cho từng dịch vụ được giám sát
  3. Giám sát tần suất cao giúp bạn có thể loại bỏ các mục tiêu với khoảng thời gian một giây
  4. Một kiến ​​trúc chia tỷ lệ với số lượng máy chủ và cụm cơ sở dữ liệu. Một phiên bản Prometheus duy nhất có thể lấy hàng nghìn mẫu mỗi giây.
  5. Không phụ thuộc vào kết nối SSH để thu thập số liệu máy chủ và quá trình, có nghĩa là một hệ thống có khả năng mở rộng hơn so với giải pháp giám sát không tác nhân
  6. Khả năng tạo trang tổng quan tùy chỉnh với các quy tắc tùy chỉnh (hãy chú ý đến các bản phát hành sắp tới của chúng tôi)

Các Đại lý / Nhà xuất khẩu SCUMM được cài đặt trên các nút được giám sát được gọi là Nhà xuất khẩu Prometheus. Các nhà xuất khẩu thu thập các số liệu từ nút (ví dụ:CPU, RAM, Đĩa và Mạng) và từ các dịch vụ như máy chủ MySQL hoặc PostgreSQL. Máy chủ Prometheus được cài đặt trên một máy chủ và quét (mẫu) các nhà xuất với khoảng thời gian tùy chỉnh.

Tại sao lại là Prometheus?

Prometheus là một cơ sở dữ liệu chuỗi thời gian rất phổ biến đã được nhiều người áp dụng với một hệ sinh thái đang hoạt động. Nó cung cấp một mô hình dữ liệu phong phú và một ngôn ngữ truy vấn với hệ thống thăm dò dựa trên http. Nó cũng dễ dàng cài đặt, bảo trì và cấu hình trong thiết lập HA.

Prometheus loại bỏ các chỉ số từ các công việc được thiết kế, trực tiếp hoặc thông qua một cổng đẩy trung gian cho các công việc tồn tại trong thời gian ngắn. Nó lưu trữ cục bộ tất cả các mẫu đã được cạo và chạy các quy tắc trên dữ liệu này để tổng hợp và ghi lại chuỗi thời gian mới từ dữ liệu hiện có hoặc tạo cảnh báo.

Prometheus hoạt động tốt để ghi lại bất kỳ chuỗi thời gian thuần số nào. Nó phù hợp với cả giám sát tập trung vào máy móc cũng như giám sát các kiến ​​trúc hướng dịch vụ, năng động cao. Trong thế giới microservices, khả năng hỗ trợ thu thập và truy vấn dữ liệu đa chiều là một thế mạnh cụ thể.

Prometheus được thiết kế để đảm bảo độ tin cậy, là hệ thống bạn sử dụng trong thời gian ngừng hoạt động để cho phép bạn nhanh chóng chẩn đoán sự cố. Mỗi máy chủ Prometheus là độc lập, không phụ thuộc vào lưu trữ mạng hoặc các dịch vụ từ xa khác. Bạn có thể dựa vào nó khi các phần khác của cơ sở hạ tầng của bạn bị hỏng và bạn không cần thiết lập cơ sở hạ tầng rộng rãi để sử dụng nó. Do đó, để có tính khả dụng cao, có thể chỉ cần cài đặt một máy chủ Prometheus thứ hai lấy dữ liệu giống như máy chủ Prometheus đầu tiên.

Hơn nữa, Prometheus là một cơ sở dữ liệu chuỗi thời gian rất phổ biến và việc áp dụng nó đã phát triển rất nhanh. Có thể để một máy chủ Prometheus khác cấp cao hơn trong tổ chức có thể cải tiến các máy chủ Prometheus gần với tầng cơ sở dữ liệu hơn. Điều này cho phép một cơ sở hạ tầng giám sát có thể mở rộng, trong đó trên tầng cơ sở dữ liệu, độ phân giải dữ liệu cao hơn so với việc nâng cao hơn nữa trong một tổ chức.

Nhà xuất khẩu

Một hoặc nhiều nhà xuất được cài đặt trên máy chủ được giám sát và chịu trách nhiệm thu thập số liệu về một phần cụ thể của cơ sở hạ tầng. Ví dụ:có thể có một nhà xuất khẩu để nắm bắt thông tin cụ thể của máy chủ lưu trữ, một nhà xuất khẩu để nắm bắt số liệu MySQL và số liệu ProxySQL.

Chúng tôi cũng đã tạo một trình xuất quy trình cụ thể để giám sát các quy trình đang chạy của máy chủ. Nhà xuất khẩu này rất quan trọng đối với các tính năng sẵn có cao trong ClusterControl và cho phép ClusterControl nhanh chóng phản ứng khi có lỗi quy trình và trạng thái quy trình. Việc sử dụng trình xuất quy trình (được cài đặt theo mặc định khi Giám sát dựa trên tác nhân được bật) giúp giảm tải hệ thống trên các máy chủ được giám sát.

Cho phép giám sát dựa trên tác nhân trong ClusterControl

Bật Giám sát Dựa trên Tác nhân đơn giản bằng cách nhấp vào Trang tổng quan, sau đó nhấp vào "Bật Giám sát Dựa trên Tác nhân". Chọn máy chủ lưu trữ nơi máy chủ Prometheus sẽ được cài đặt. Sau đó, máy chủ Prometheus này có thể được chia sẻ với các cụm khác.

Với bản phát hành 1.7.1, ClusterControl đi kèm với các bảng điều khiển sau:

  • Tổng quan về hệ thống
  • Tổng quan về cụm
  • Máy chủ MySQL - Chung
  • Máy chủ MySQL - Bộ nhớ đệm
  • Số liệu MySQL InnoDB
  • Tổng quan về Cụm Galera
  • Tổng quan về máy chủ Galera
  • Tổng quan về PostgreSQL
  • Tổng quan về ProxySQL
  • Tổng quan về HAProxy
  • Tổng quan về cụm MongoDB
  • MongoDB ReplicaSet
  • Máy chủ MongoDB

Tóm tắt…

Cho dù một người muốn sử dụng một tác nhân giám sát hay đi theo con đường không có tác nhân là hoàn toàn dựa trên các yêu cầu về chính sách tổ chức và nhu cầu tùy chỉnh. Và mặc dù chúng tôi yêu thích sự đơn giản của việc không phải cài đặt hoặc quản lý tác nhân trên máy chủ cơ sở dữ liệu được giám sát, nhưng phương pháp dựa trên tác nhân có thể cung cấp độ phân giải cao hơn cho dữ liệu giám sát và có những lợi thế nhất định về mặt bảo mật.

Hệ thống SCUMM mới của ClusterControl sử dụng các tác nhân Prometheus để có độ chính xác cao hơn và các tùy chọn tùy chỉnh trong khi giám sát các cụm cơ sở dữ liệu của bạn.

Tại sao không thử và xem cho chính mình!

Cài đặt ClusterControl ngay hôm nay (miễn phí với Phiên bản Cộng đồng của chúng tôi) hoặc tải xuống Hướng dẫn ClusterControl mới của chúng tôi nếu bạn muốn đọc về sản phẩm của chúng tôi trước.


  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. MongoDB - DBREF có cần thiết không?

  2. Từ điển <chuỗi, đối tượng> -to-Bson Chuyển đổi tài liệu bỏ qua trường _t

  3. Không tìm thấy lớp 'MongoClient'

  4. Sử dụng MongoDB $ pull để xóa tài liệu trong Mảng

  5. Hiểu về giới hạn kích thước tài liệu MongoDB BSON