Article

[Airflow 파먹기] Airflow의 component는 어떻게 실행될까?

2023-05-13

1분

1. Airflow의 component

Airflow는 위 그림처럼 5개(scheduler, worker, webserver, meta db, queue)로 구성되어 있다.

이 컴포넌트들이 어떻게 연결되는걸까?

이 궁금증을 해결하기 위해 이 Airflow 파먹기 시리즈를 시작했다.

이제 다음 포스터에서 차례차례 알아가보자. 추가로 파이썬에 대해 더 공부하면 좋고.

airflow파먹기

[Airflow 파먹기] Airflow의 component는 어떻게 실행될까?

by mildsalmon

Series

🍖Airflow 파먹기

2 / 7 포스트

시리즈 목록

1

[Airflow 파먹기] 시작 !

2

[Airflow 파먹기] Airflow의 component는 어떻게 실행될까?읽는 중

3

[Airflow 파먹기] Airflow 코드의 main은?

4

[Airflow 파먹기] main - configuration

5

[Airflow 파먹기] cli_parser

이전 포스트 전체 시리즈 다음 포스트

댓글 0개

관련 포스트

[Airflow 파먹기] airflow dags list

이 글은 Apache Airflow의 ActionCommand와 dag_list_dags 함수를 살펴보는 내용입니다. ActionCommand는 CLI에서 사용하는 명령어 중 하나로, dag_list_dags 함수는 해당 명령어를 실행했을 때 모든 DAG를 보여주는 함수입니다. 이 함수는 CLI에서 실행되며, 출력 결과는 DAG의 이름, 파일 경로, 소유자, 일시정지 여부 등이 포함됩니다. 또한 이 글에서는 decorator와 alias 등에 대한 이야기도 포함되어 있습니다.

[Airflow 파먹기] airflow standalone

Airflow Standalone Command is examined in this content, which allows running all components of Airflow under a single parent process for local development. The code includes the use of @classmethod instead of @staticmethod and the absence of a separate function for entrypoint. The CLI commands for initializing the database and starting the web server and scheduler are executed sequentially. Additionally, the code includes a print_output() function that uses print instead of logger to output colored text.

[Airflow 파먹기] cli_parser

get_parser() 함수는 Airflow CLI의 command line argument parser를 생성하는 함수이다. 이 함수는 lru_cache를 사용하여 속도를 높이고, argparse.ArgumentParser를 상속받는 DefaultHelpParser를 사용하여 help message를 표시한다. 이 함수는 DAG_CLI_DICT 또는 ALL_COMMANDS_DICT를 사용하여 subcommand를 생성하고, core_commands에서 자주 사용하는 명령을 포함한다.