[Airflow] Python Operator 기본

---

Python Operator 란?

▪ python 함수를 실행해주는 operator로 가장 많이 쓰임

---

dags_python_operator.py

▪ 매일 6시 30분에 작업하도록 스케줄링

▪ 리스트에 포함된 과일을 랜덤하게 print 해주는 select_fruit() 함수 작성

▪ PythonOperator의 "python_callable"에 실행하고자 하는 함수를 넣어주면 됨

from airflow import DAG
import pendulum
import datetime
from airflow.operators.python import PythonOperator
import random

with DAG(
    dag_id="dags_python_operator",
    schedule="30 6 * * *",
    start_date=pendulum.datetime(2023, 3, 1, tz="Asia/Seoul"),
    catchup=False
) as dag:
    def select_fruit():
        fruit = ['APPLE','BANANA','ORANGE','AVOCADO']
        rand_int = random.randint(0,3)
        print(fruit[rand_int])

    py_t1 = PythonOperator(
        task_id='py_t1',
        python_callable=select_fruit
    )

    py_t1

Dag 실행하기

▪ dag 업로드 후 webserver 접속

 

▪ dag을 unpause 시키고 log를 확인해보면 작성한 함수가 정상적으로 실행되었음

 

 

 

참고:

Airflow 마스터 클래스 강의 - 인프런