맥(mac)에서 airflow 설치하기

airflow

에어플로우(Airflow)를 간단히 설명하자면, 어떤 반복적인 작업(task)들을 실행해주는 scheduler 이다.

 

여기에서는 anaconda가 설치되어있는 mac환경에서 airflow를 설치하는 내용을 적어보려한다.

 

1. airflow를 위한 python 가상환경 만들기

conda create --name airflow_env python=3.9 -y

 

2. 가상환경 확인 및 만들어진 가상환경으로 전환

 

3. airflow 설치

// airflow 설치
conda install apache-airflow

 

4. airflow가 설치

airflow가 설치되었다면, 터미널에서 다음 명령어로 db를 초기화해준다.

// DB 초기화
airflow db init

 

DB가 초기화되면 사용자 계정의 폴더에 airflow 라는 폴더가 생성되고 아래와 같이 몇가지 파일들이 생성된다.

 

5. airflow용 user 생성

아래 그림의 명령어로 사용자를 생성한다.

 

여기서 role 파트의 Admin 은 변경하면 안된다.

// 사용자 생성
airflow users create --username admin --password admin --firstname youngsoo --lastname park --role Admin --email admin@abc.com

 

6. webserver 와 scheduler 실행

웹서버와 스케줄러를 background 모드로 실행해준다.

// 웹서버 실행
airflow webserver -D

// 스케줄러 실행
airflow scheduler -D

 

-D 옵션은 backgroud 로 실행하는 옵션인데,

간혹 웹서버가 잘 실행되지 않는 경우가 있었고 이때는 -D 옵션을 빼고 실행하였을 때 잘 실행되었음.

7. 웹화면에 로그인

위의 두 프로세스가 정상적으로 실행되었다면, 로그인을 위해서 웹서버에 접속해보자.

생성했던 계정 admin 을 이용해서 로그인을 해보자.

 

아래의 화면처럼 sample DAG들이 보인다면 성공적으로 설치가 되었다.