[airflow] ubuntu 서버에 airflow 서비스 등록하기

ubuntu 22.04에서 systemd를 사용해서 airflow 데몬을 생성해봅니다. linux에는 사용자 정의 서비스를 생성해서 시스템을 부팅할 때 시작할 수 있습니다.airflow webserver와 scheduler용 서비스를 생성하고 실행하는 방법을 알아봅니다.

서비스 파일 생성

서비스 파일을 생성하기 위해 아래 명령어를 실행합니다.

 sudo vi /etc/systemd/system/airflow-webserver.service

이제 서비스 파일의 내용을 아래와 같이 구성합니다.

[Unit]
Description=Airflow webserver daemon
After=network.target mysql.service
Wants=mysql.service
[Service]
Environment="PATH=$PATH:/home/<user_name>/airflow_env/bin:/home/<user_name>/airflow/"
User=<user_name>
Group=<group_name>
Type=simple
ExecStart=/home/<user_name>/airflow_env/bin/airflow webserver
Restart=on-failure
RestartSec=5s
PrivateTmp=true
[Install]
WantedBy=multi-user.target

위 구성에 대한 설명 

- Description: 서비스에 대한 설명

- After: 데몬을 실행하는데 필요한 서비스가 시작된 후에 실행되어야 합니다. 예를 들어서 airflow는 시작하기 전에 network, mysql이 준비되어있어야 하기 때문에 이렇게 작성합니다. 추가적으로 필요한 서비스를 작성할 수 있습니다.

- Enviroment: 서비스에 필요한 환경변수들을 지정합니다. Environment의 값은 PATH = [path변수 값] HIVE_HOME=/opt/apache-hive-3.1.2-bin 처럼 [환경변수명]=[환경변수값] 으로 작성할 수 있습니다.

- User: 로그인 사용자명, 서비스 호출하는 사용자명입니다.

- ExecStart: 실행할 명령어를 지정하거나 스크립트의 경로를 설정할 수 있습니다. 저는 anaconda 환경에 airflow가 설치되어있었고, 포트를 변경하기 위해 다음 명령어로 입력했습니다.

/root/anaconda3/bin/airflow webserver --port 5555

 - Restart: 서비스 실행에 실패했을 경우 다시 실행하도록 합니다.

- RestartSec: systemd는 100ms 후에 다시 시작을 시도하며, 이 값을 변경하면 대기할 초를 지정할 수 있습니다.

위와 같이 내용을 작성한 다음 서비스를 시작합니다.

서비스 로드, 활성화, 시작

서비스 로드하기

sudo systemctl daemon-reload

서비스 활성화하기

sudo systemctl enable airflow-webserver.service

서비스 시작하기

sudo systemctl start airflow-webserver.service

서비스를 시작한 후 서비스 상태 확인

sudo systemctl status airflow-webserver.service

서비스를 성공적으로 시작하면 아래와 같이 active상태로 시작된 것을 확인할 수 있습니다.

이렇게 표시되면 시스템 부팅시 시작하는 서비스를 성공적으로 등록한 것입니다. 

airflow scheduler에 대한 서비스는 webserver와 동일한 방식으로 진행하고 ExecStart 부분에서 webserver만 scheduler로 대체하면 됩니다. 

---

refernece

https://www.upsolver.com/blog/airflow-as-a-daemon