Cách giám sát MongoDB với Prometheus &ClusterControl

SCUMM (Giám sát &Quản lý Hợp nhất Somenines ClusterControl) là một giải pháp dựa trên tác nhân với các tác nhân được cài đặt trên các nút cơ sở dữ liệu. Nó cung cấp một tập hợp các trang tổng quan giám sát, trong đó có Prometheus là nơi lưu trữ dữ liệu với ngôn ngữ truy vấn đàn hồi và mô hình dữ liệu đa chiều. Prometheus loại bỏ dữ liệu chỉ số từ các nhà xuất đang chạy trên máy chủ cơ sở dữ liệu.

Kiến trúc ClusterControl SCUMM đã được giới thiệu với phiên bản 1.7.0 mở rộng chức năng giám sát cho MySQL, Galera Cluster, PostgreSQL &ProxySQL.

ClusterControl 1.7.1 mới bổ sung tính năng giám sát độ phân giải cao cho các hệ thống MongoDB.

Trong bài viết này, chúng tôi sẽ mô tả hai bảng điều khiển chính cho môi trường MongoDB. Máy chủ MongoDB và Bản sao MongoDB.

Bảng điều khiển và Danh sách chỉ số

Danh sách các trang tổng quan và số liệu của chúng:

Hệ thống cơ sở dữ liệu phụ thuộc nhiều vào tài nguyên hệ điều hành, vì vậy bạn cũng có thể tìm thấy hai trang tổng quan bổ sung cho Tổng quan hệ thống và Tổng quan cụm về môi trường MongoDB của bạn.

Trang tổng quan máy chủ MongoDB

Tên - Địa chỉ máy chủ và cổng.

Tên ReplsSet - Trình bày tên của tập hợp bản sao chứa máy chủ.

Thời gian hoạt động của máy chủ - Thời gian kể từ khi máy chủ khởi động lại lần cuối.

Bộ điều khiển hoạt động - Số lượng yêu cầu nhận được trong khoảng thời gian đã chọn được chia nhỏ theo loại hoạt động. Các số lượng này bao gồm tất cả các hoạt động đã nhận, bao gồm cả những hoạt động không thành công.

Kết nối - Biểu đồ này hiển thị một trong những số liệu quan trọng nhất cần theo dõi - số lượng kết nối nhận được trong khoảng thời gian đã chọn bao gồm cả các yêu cầu không thành công. Lưu lượng truy cập tải bất thường có thể dẫn đến các vấn đề về hiệu suất. Nếu MongoDB sắp hết kết nối, nó có thể không xử lý kịp thời các yêu cầu đến.

WT - Vé đồng thời (Đọc) / WT - Cổng TI đồng thời (Ghi) Hai biểu đồ này hiển thị các vé đọc và ghi điều khiển đồng thời trong WiredTiger (WT). Vé WT kiểm soát bao nhiêu thao tác đọc và ghi có thể thực hiện trên bộ lưu trữ cùng một lúc. Khi các vé đọc và ghi khả dụng giảm xuống 0, số lượng các hoạt động chạy đồng thời bằng với các giá trị đọc / ghi đã định cấu hình. Điều này có nghĩa là bất kỳ hoạt động nào khác phải đợi cho đến khi một trong các luồng đang chạy kết thúc công việc của nó trên bộ máy lưu trữ trước khi thực thi.

WT - Bộ nhớ đệm (Dirty, Evicted - Đã sửa đổi, Đã loại bỏ - Chưa được sửa đổi, Max) - Kích thước của bộ nhớ cache là núm quan trọng nhất đối với WiredTiger. Theo mặc định, MongoDB 3.x dự trữ 50% (60% trong 3.2) bộ nhớ khả dụng cho bộ nhớ đệm dữ liệu của nó.

Global Lock (Máy khách-Đọc, Máy khách - Viết, Hàng đợi hiện tại - Người đọc, Hàng đợi hiện tại - Người viết) - Các mẫu thiết kế lược đồ kém hoặc yêu cầu đọc và ghi nặng từ nhiều máy khách có thể gây ra khóa nhiều. Khi điều này xảy ra, cần phải duy trì tính nhất quán và tránh xung đột khi ghi.
Để đạt được điều này, MongoDB sử dụng tính năng khóa đa chi tiết cho phép các hoạt động khóa diễn ra ở các cấp khác nhau, chẳng hạn như cấp độ chung, cơ sở dữ liệu hoặc bộ sưu tập .

Cảnh báo (msg, thông thường, rollovers, user) - Biểu đồ này hiển thị số lượng xác nhận được đưa ra mỗi giây. Các giá trị cao và độ lệch so với xu hướng cần được xem xét lại.

Trang tổng quan MongoDB ReplicaSet

Các chỉ số được hiển thị trong trang tổng quan này chỉ quan trọng nếu bạn sử dụng một tập hợp bản sao.

Kích thước tập hợp bản sao - Số lượng thành viên trong tập bản sao. Việc triển khai bộ bản sao tiêu chuẩn cho hệ thống sản xuất là một bộ bản sao ba thành viên. Nói chung, chúng tôi khuyến nghị rằng một tập hợp bản sao có số lượng thành viên biểu quyết là số lẻ. Khả năng chịu lỗi cho một tập hợp bản sao là số lượng thành viên có thể không có sẵn và vẫn còn đủ thành viên trong tập hợp để bầu một nhóm sơ cấp. Khả năng chịu lỗi đối với ba thành viên là một, đối với năm là hai, v.v.

Tên ReplSet - Đây là tên được gán trong tệp cấu hình MongoDB. Tên đề cập đến /etc/mongod.conf giá trị replSet.

CHÍNH TẢ - Nút chính nhận tất cả các thao tác ghi và ghi lại tất cả các thay đổi khác đối với tập dữ liệu của nó trong nhật ký hoạt động của nó. Giá trị là xác định IP và cổng của nút chính của bạn trong cụm tập hợp bản sao MongoDB.

Phiên bản máy chủ - Xác định phiên bản máy chủ. ClusterControl phiên bản 1.7.1 hỗ trợ MongoDB phiên bản 3.2 / 3.4 / 3.6 / 4.0.

Bộ bản sao và thành viên (tối thiểu, tối đa, trung bình) - Biểu đồ này có thể giúp bạn xác định các thành viên đang hoạt động trong khoảng thời gian. Bạn có thể theo dõi số lượng tối thiểu, tối đa và trung bình của các nút chính và phụ và những con số này đã thay đổi như thế nào theo thời gian. Mọi sai lệch có thể ảnh hưởng đến khả năng chịu lỗi và tính khả dụng của cụm.

Cửa sổ Oplog trên mỗi ReplSet - Thời lượng sao chép là một số liệu cần thiết để xem. Oplog MongoDB là một tập hợp duy nhất được giới hạn ở kích thước (đặt trước). Nó có thể được mô tả là sự khác biệt giữa dấu thời gian đầu tiên và dấu thời gian cuối cùng trong oplog.rs. Đó là khoảng thời gian một thiết bị phụ có thể ngoại tuyến trước khi cần đồng bộ hóa ban đầu để đồng bộ hóa phiên bản. Các chỉ số này cho bạn biết bạn còn bao nhiêu thời gian trước khi giao dịch tiếp theo của chúng tôi bị loại khỏi oplog.

Khoảng trống nhân rộng - Biểu đồ này trình bày sự khác biệt giữa cửa sổ oplog của chính và độ trễ sao chép của các nút phụ. Oplog MongoDB có kích thước hạn chế và Nếu nút bị trễ quá xa, nó sẽ không thể bắt kịp. Nếu điều này xảy ra, đồng bộ hóa hoàn toàn sẽ được phát hành và đây là một thao tác tốn kém luôn phải tránh.

Tổng số PRIMARY / SECONDARY trực tuyến trên mỗi ReplSet - Tổng số nút cụm trong khoảng thời gian.

Mở con trỏ trên mỗi ReplSet (Đã ghim, Hết thời gian, Tổng số) - Yêu cầu đọc đi kèm với một con trỏ là con trỏ trỏ đến tập dữ liệu của kết quả. Nó sẽ vẫn mở trên máy chủ và do đó sử dụng bộ nhớ trừ khi nó được kết thúc bởi cài đặt MongoDB mặc định. Bạn nên xác định các con trỏ không hoạt động và cắt chúng để lưu vào bộ nhớ.

ReplSet - Timeout Cursors per SetsMax Replication Lag per ReplSet - Độ trễ của bản sao là rất quan trọng cần theo dõi nếu bạn đang mở rộng số lần đọc thông qua việc thêm nhiều thứ hai. MongoDB sẽ chỉ sử dụng những thứ hai này nếu chúng không bị tụt lại quá xa. Nếu dữ liệu thứ cấp có độ trễ sao chép, bạn có nguy cơ cung cấp dữ liệu cũ đã bị ghi đè trên dữ liệu chính.

OplogSize - Một số khối lượng công việc nhất định có thể yêu cầu kích thước oplog lớn hơn. Cập nhật nhiều tài liệu cùng một lúc, số lần xóa bằng cùng một lượng dữ liệu như một phụ trang hoặc số lượng đáng kể các bản cập nhật tại chỗ.

OpsConters - Biểu đồ này hiển thị số lần thực thi truy vấn.

Thời gian ping để tạo bản sao đặt thành viên từ chính - Điều này cho phép bạn khám phá các thành viên tập hợp bản sao bị lỗi hoặc không thể truy cập được từ nút chính.

Nhận xét kết thúc

Tính năng bảng điều khiển ClusterControl 1.7.1 MongoDB mới được cung cấp miễn phí trong Phiên bản Cộng đồng. Các nhóm hoạt động cơ sở dữ liệu có thể thu lợi từ nó bằng cách sử dụng các biểu đồ có độ phân giải cao, đặc biệt khi thực hiện các quy trình hàng ngày của họ dưới dạng phân tích nguyên nhân gốc rễ và lập kế hoạch năng lực.

Chỉ cần một cú nhấp chuột là có thể triển khai các tác nhân giám sát mới. ClusterControl cài đặt các tác nhân Prometheus, định cấu hình các chỉ số và duy trì quyền truy cập vào cấu hình trình xuất Prometheus thông qua GUI của nó, vì vậy bạn có thể quản lý tốt hơn cấu hình tham số như cờ thu thập cho các trình xuất (Prometheus).

Bằng cách theo dõi đầy đủ số lượng yêu cầu đọc và ghi, bạn có thể ngăn chặn quá tải tài nguyên, nhanh chóng tìm ra nguồn gốc của quá tải tiềm ẩn và biết khi nào cần mở rộng quy mô.