[Airflow] Task 연결하기

---

Task 연결 방법

▪ dag에서 task를 연결하는 방법은 두 가지가 있음

▪ 하나는 " >>", "<<"를 사용하는 방법이고, 다른 하나는 "함수"를 사용하는 방법

▪ Airflow 공식 추천 방법은 ">>", "<<"를 사용하는 방법

예제

▪ dag 연결 상태가 다음과 같으면

dag 연결 상태

 

▪ 아래와 같이 code로 표현할 수 있음

code

dags_conn_test.py

▪ EmptyOperator를 활용해서 실제 task간 선-후 행 관계 작성

from airflow import DAG
from airflow.operators.empty import EmptyOperator
import datetime
import pendulum
    
with DAG(
    dag_id="dags_conn_test",
    schedule=None,
    start_date=pendulum.datetime(2023, 11, 17, tz="Asia/Seoul"),
    catchup=False,
) as dag:
    
    t1 = EmptyOperator(
        task_id = 't1'
    )

    t2 = EmptyOperator(
        task_id = 't2'
    )

    t3 = EmptyOperator(
        task_id = 't3'
    )

    t4 = EmptyOperator(
        task_id = 't4'
    )

    t5 = EmptyOperator(
        task_id = 't5'
    )

    t6 = EmptyOperator(
        task_id = 't6'
    )

    t7 = EmptyOperator(
        task_id = 't7'
    )

    t8 = EmptyOperator(
        task_id = 't8'
    )

    t1 >> [t2, t3] >> t4
    t5 >> t4
    [t4, t7] >> t6 >> t8

 

▪ dag 파일 업로드 후 그래프를 확인해보면 다음과 같이 나옴

 

 

 

참고:

Airflow 마스터 클래스 강의 - 인프런