Làm theo các bước sau để cài đặt Apache Airflow với MySQL bằng Anaconda3
1) Cài đặt điều kiện tiên quyết
yum install gcc gcc-c++ -y
yum install libffi-devel mariadb-devel cyrus-sasl-devel -y
dnf install redhat-rpm-config
2) Cài đặt Anaconda3 (đi kèm với Python 3.7.6)
yum install libXcomposite libXcursor libXi libXtst libXrandr alsa-lib mesa-libEGL libXdamage mesa-libGL libXScrnSaver
wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh
chmod +x Anaconda3-2020.02-Linux-x86_64.sh
./Anaconda3-2020.02-Linux-x86_64.sh
Đảm bảo rằng bạn thực hiện conda initialize khi được nhắc trong quá trình cài đặt. Điều này sẽ đảm bảo rằng phiên bản chính xác của python và pip được sử dụng trong các bước tiếp theo.
3) Cài đặt Apache Airflow
pip install apache-airflow[mysql,celery]
Bạn có thể thêm các gói phụ khác theo yêu cầu. Tôi chỉ bao gồm những thứ cần thiết để Airflow sử dụng cơ sở dữ liệu MySQL làm phụ trợ.
4) Khởi tạo luồng không khí
export AIRFLOW_HOME=~/airflow
airflow initdb
Từ đây, tôi đã bắt chước các bước bạn đã làm theo để định cấu hình Máy chủ MySQL
5) Cài đặt Máy chủ MySQL
rpm -Uvh https://repo.mysql.com/mysql80-community-release-el7-3.noarch.rpm
sed -i 's/enabled=1/enabled=0/' /etc/yum.repos.d/mysql-community.repo
yum --enablerepo=mysql80-community install mysql-server
systemctl start mysqld.service
6) Đăng nhập vào MySQL và định cấu hình cơ sở dữ liệu cho Luồng không khí
mysql> CREATE DATABASE airflow CHARACTER SET utf8 COLLATE utf8_unicode_ci;
mysql> CREATE user 'airflow'@'localhost' identified by 'Airflow123';
mysql> GRANT ALL privileges on *.* to 'airflow'@'localhost';
7) Cập nhật tệp cấu hình luồng không khí (~ / airflow / airflow.cfg)
sql_alchemy_conn = mysql://airflow:[email protected]:3306/airflow
executor = CeleryExecutor
8) Khởi tạo luồng không khí
airflow initdb
