[Airflow] Docker로 Airflow 설치하기

---

컴퓨팅 환경: GCP
Docker가 설치되어 있지 않다면 아래 링크로 이동하여 설치하고 진행

Ubuntu에 Docker 설치하기

---

1. docker-compose.yaml 파일 다운 받기

▪ docker-compose.yaml 파일 다운로드

▪ airflow는 여러 개의 컨테이너로 구성되어 있는데, 여러 개의 컨테이너를 "docker-compose.yaml" 파일의 스크립트로 한번에 관리

# docker-compose.yaml 파일 다운로드
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.8.0/docker-compose.yaml'

 

▪ 명령어 실행 후 ls 명령어로 확인해보면 파일이 하나 생성됨

docker-compose.yaml 파일

2. directory 만들고 uid 써넣기

# directory 만들기
mkdir -p ./dags ./logs ./plugins ./config

# uid를 .env 파일에 쓰기
echo -e "AIRFLOW_UID=$(id -u)" > .env

 

▪ 명령어 실행 후 확인해보면 다음과 같은 폴더들이 생성됨

생성된 directory

3. Airflow 설치하기

▪ 해당 명령어를 실행할 때는 "sudo"를 앞에 붙여주어야 함

sudo docker compose up airflow-init

 

▪ 설치가 완료되면 다음과 같이 뜸

Airflow 설치 완료

4. Airflow 실행

sudo docker compose up

 

▪ 서비스가 시작되면 프롬프트가 끝나지 않고 지속적으로 health check를 함

Airflow 실행

5. Airflow가 정상적으로 실행되고 있는지 확인

▪ 기존에 terminal 창은 그대로 두고, 새로운 terminal을 열고 작업

# 현재 가동 중인 컨테이너 출력
sudo docker ps

 

▪ 확인해보면 airflow 서비스를 띄우기 위한 컨테이터들이 정상적으로 올라와 있음

6. Airflow 방화벽 허용하기

▪ 고정 ip 설정이 되어있지 않다면 링크로 이동하여 진행 -> https://doodo0126.tistory.com/27

▪ [VPC 네트워크] -> [방화벽] 으로 이동

▪ [방화벽 규칙 만들기] 클릭

 

▪ [이름] 설정

 

▪ [대상]은 네트워크의 모든 인스턴스, [소스 IPv4 범위]는 0.0.0.0/0으로 설정

 

▪ [지정된 프로토콜 및 포트]  -> [TCP]에 8080 입력해서 8080 포트에 대한 접속을 허가

▪ 모든 설정이 완료되었으면 [만들기] 클릭

7. Airflow 접속

▪ [고정IP주소]:8080를 주소창에 입력하고 접속

▪ Airflow에 Username, Password를 입력해고 로그인 

▪ Airflow의 초기 Username, Password는 airflow, airflow 

 

▪ 정상적으로 접속되면 다음과 같은 창이 뜸

 

 

 

참고:

Running Airflow in Docker — Airflow Documentation

 

Airflow 마스터 클래스 강의 - 인프런