김학진
@mildsalmon
mildsalmon.notion.site
·
흔치않고, 진귀하다.

카테고리

[Airflow 파먹기] airflow dags list

이 글은 Apache Airflow의 ActionCommand와 dag_list_dags 함수를 살펴보는 내용입니다. ActionCommand는 CLI에서 사용하는 명령어 중 하나로, dag_list_dags 함수는 해당 명령어를 실행했을 때 모든 DAG를 보여주는 함수입니다. 이 함수는 CLI에서 실행되며, 출력 결과는 DAG의 이름, 파일 경로, 소유자, 일시정지 여부 등이 포함됩니다. 또한 이 글에서는 decorator와 alias 등에 대한 이야기도 포함되어 있습니다.

2023년 05월 26일 · 19 min read

airflow파먹기

[Airflow 파먹기] airflow standalone

Airflow Standalone Command is examined in this content, which allows running all components of Airflow under a single parent process for local development. The code includes the use of @classmethod instead of @staticmethod and the absence of a separate function for entrypoint. The CLI commands for initializing the database and starting the web server and scheduler are executed sequentially. Additionally, the code includes a print_output() function that uses print instead of logger to output colored text.

2023년 05월 21일 · 19 min read

airflow파먹기
standalone

[Airflow 파먹기] cli_parser

get_parser() 함수는 Airflow CLI의 command line argument parser를 생성하는 함수이다. 이 함수는 lru_cache를 사용하여 속도를 높이고, argparse.ArgumentParser를 상속받는 DefaultHelpParser를 사용하여 help message를 표시한다. 이 함수는 DAG_CLI_DICT 또는 ALL_COMMANDS_DICT를 사용하여 subcommand를 생성하고, core_commands에서 자주 사용하는 명령을 포함한다.

2023년 05월 20일 · 15 min read

airflow파먹기
cli
parser

[Airflow 파먹기] main - configuration

해당 코드는 Airflow의 환경설정을 담당하는 configuration 파일의 내용을 로드하여 객체로 생성하는 과정을 나타내고 있다. 이를 위해 default_airflow.cfg 파일에서 필요한 값을 읽어오는데, 이 파일은 환경변수를 포함하여 Airflow의 다양한 설정값을 담고 있다. 이 코드는 Airflow의 동작을 이해하는 데 중요한 역할을 하며, Airflow의 소스 코드를 이해하는 데 도움이 될 수 있다.

2023년 05월 14일 · 24 min read

airflow파먹기

# 12. 준비, 조준, 발사

12. 준비, 조준, 발사 조준하고 숨 참고 쏴. 군대에서 사격할 때마다 들었던 말이다. 우리는 보통 발사(행동)를 가장 마지막에 한다. 최선을 다해서, 최선의 결과를 위해서 말이다. 그런데 현실에서 단 한 번의 행동으로 최선의 결과를 만들 수 있을까? 군대에서도 마찬가지였다. 단 한 번의 시도로 20발을 전부 표적지에 명중시키는 사람은 드물었다. 그래서 우리는 …

2023년 01월 22일 · 1 min read

주간일지

11. 조금씩 알아간다는 건

11. 조금씩 알아간다는 건#나 나는 나에 대해 얼마나 알고 있을까? 사실 나도 나를 잘 모르겠다. 과연 나는 나를 명확하게 정의할 수 있을까? 예전에는 흑백논리처럼 이분법적으로 나눌 수 있다고 생각했다. 그래서인지 한쪽으로 너무 편향되게 나를 정의했다. 그러나 세상은 이분법적으로 완벽하게 나눠질 수 없다. 춥다와 덥다 그사이에 애매모호한 단계를 Fuzzy Theory라고 한다. …

2023년 01월 08일 · 2 min read

주간일지

8. 망한 행사에 대한 회고

8. 망한 행사에 대한 회고이번 한 주는 많은 도전이 있었다. 그중 가장 기억에 남는 것은 스시런톡이다. 스시런톡은 간단한 토크 형식으로 진행되는 사내 행사이다. 세미나보다는 가벼운 형식으로 진행하는 지식 공유의 장을 만들고 싶었다. 첫술에 배부를 수는 없겠지만, 많이 아쉽긴 했다. 어떤 사람은 괜찮았다고, 처음이 제일 어렵다고 위로와 긍정적인 말을 해주었지만, 어떤 …

2023년 01월 08일 · 1 min read

주간일지