Trong hướng dẫn Hadoop này , chúng ta sẽ thảo luận về khái niệm NameNode Automatic Failover trong Hadoop Trước hết, chúng ta sẽ xem chuyển đổi dự phòng là gì và các loại chuyển đổi dự phòng. Sau đó, chúng tôi sẽ bao gồm HDFS tự động chuyển đổi dự phòng trong Hadoop.
Các thành phần của Chuyển đổi dự phòng tự động Hadoop trong HDFS chẳng hạn như số đại biểu ZooKeeper, Quy trình ZKFailoverController (ZKFC). Cuối cùng, chúng ta cũng sẽ thảo luận về vai trò của hai thành phần này trong Hadoop .
Chuyển đổi dự phòng là gì?
Quá trình hệ thống chuyển quyền kiểm soát sang hệ thống thứ cấp khi phát hiện lỗi được gọi là chuyển đổi dự phòng .
Chuyển đổi dự phòng có hai loại:
- Chuyển đổi dự phòng có duyên - Quản trị viên bắt đầu chuyển đổi dự phòng duyên dáng theo cách thủ công, ví dụ, trong trường hợp bảo trì định kỳ. Hệ thống sẽ không tự động kích hoạt chuyển đổi dự phòng từ nút tên đang hoạt động sang chế độ chờ, ngay cả khi nút đang hoạt động bị lỗi trong Chuyển đổi dự phòng duyên dáng.
- Tự động chuyển đổi dự phòng - Chuyển đổi dự phòng tự động là quá trình hệ thống tự động chuyển quyền điều khiển của nó sang NameNode dự phòng khi NameNode bị lỗi. Trong Hadoop Tự động chuyển đổi dự phòng xảy ra trong trường hợp NameNode bị lỗi. Nhưng trong trường hợp NameNode bị lỗi, Failover sẽ tự động bắt đầu. Chuyển đổi dự phòng này là chuyển đổi dự phòng tự động.
NameNode Automatic Failover in Hadoop
Tự động chuyển đổi dự phòng trong Hadoop sẽ thêm các thành phần bên dưới vào triển khai Hadoop HDFS:
- Số đại biểu của ZooKeeper.
- Quy trình ZKFailoverController (ZKFC).
1. ZooKeeper Quorum
Zookeeper trong Hadoop là một dịch vụ tập trung. Nó duy trì thông tin cấu hình, đặt tên và cung cấp đồng bộ hóa phân tán. Nó cũng cung cấp các dịch vụ nhóm. Zookeeper cũng quản lý và điều phối một nhóm máy lớn.
Vì những lý do dưới đây, việc triển khai chuyển đổi dự phòng HDFS tự động dựa vào Zookeeper:
- Phát hiện lỗi- Zookeeper trong Hadoop duy trì một phiên với các nút tên. Khi bị lỗi, phiên sẽ hết hạn. Vì vậy, Zookeeper sẽ thông báo cho các nút tên khác để bắt đầu quá trình chuyển đổi dự phòng.
- Bầu cử Mã Tên Hoạt động- Một cơ chế đơn giản do Zookeeper cung cấp để chỉ chọn một nút đang hoạt động. Tại thời điểm lỗi nút tên đang hoạt động, nút tên khác có thể thực hiện một khóa độc quyền trong Zookeeper và nói rằng nó muốn trở thành nút tên hoạt động tiếp theo.
2. ZKFailoverController (ZKFC)
ZKFC là một ứng dụng khách của Zookeeper trong Hadoop có chức năng giám sát và quản lý trạng thái nút tên. Mỗi máy chạy dịch vụ nút tên cũng chạy một ZKFS. Nó có thể xử lý:
- Theo dõi sức khỏe - Với lệnh kiểm tra tình trạng ZKFS ping nút tên cục bộ của nó. ZKFS coi nút tên là lành mạnh, miễn là nút tên phản hồi tại một thời điểm. Trình theo dõi tình trạng sẽ đánh dấu một nút là không khỏe, nếu nút đó đã bị lỗi hoặc chuyển sang trạng thái không khỏe mạnh.
- Quản lý phiên Zookeeper - ZKFC tổ chức một phiên mở trong Zookeeper khi nút tên cục bộ hoạt động tốt. Nó cũng chứa một znode “khóa” đặc biệt, nếu nút tên cục bộ đang hoạt động. Nếu phiên hết hạn, khóa sẽ tự động bị xóa.
- Bầu cử dựa trên người giữ vườn thú - Trong HDFS, nếu nút tên cục bộ khỏe mạnh và ZKFC thấy rằng không có nút nào khác hiện đang giữ znode khóa, bản thân nó sẽ cố gắng lấy khóa. Và, nếu nó thành công, thì nó đã thắng cuộc bầu cử ”và nó xử lý việc chạy chuyển đổi dự phòng để làm cho nút tên cục bộ của nó hoạt động.
Kết luận
Do đó, Tự động chuyển đổi dự phòng trong Hadoop tự động bắt đầu trong trường hợp Mã tên bị lỗi. Tự động chuyển đổi dự phòng thêm các thành phần ZooKeeper túc số và ZKFailoverController Process (ZKFC) vào triển khai HDFS.
Zookeeper trong Hadoop là một dịch vụ cung cấp khả năng chuyển đổi dự phòng tự động trong HDFS .
