[Airflow 파먹기] cli_parser2023. 05. 20.15분get_parser() 함수는 Airflow CLI의 command line argument parser를 생성하는 함수이다. 이 함수는 lru_cache를 사용하여 속도를 높이고, argparse.ArgumentParser를 상속받는 DefaultHelpParser를 사용하여 help message를 표시한다. 이 함수는 DAG_CLI_DICT 또는 ALL_COMMANDS_DICT를 사용하여 subcommand를 생성하고, core_commands에서 자주 사용하는 명령을 포함한다.
[Airflow 파먹기] main - configuration2023. 05. 14.24분해당 코드는 Airflow의 환경설정을 담당하는 configuration 파일의 내용을 로드하여 객체로 생성하는 과정을 나타내고 있다. 이를 위해 default_airflow.cfg 파일에서 필요한 값을 읽어오는데, 이 파일은 환경변수를 포함하여 Airflow의 다양한 설정값을 담고 있다. 이 코드는 Airflow의 동작을 이해하는 데 중요한 역할을 하며, Airflow의 소스 코드를 이해하는 데 도움이 될 수 있다.
[Airflow 파먹기] Airflow 코드의 main은?2023. 05. 14.1분airflow 소스코드에서 main 함수를 찾아보고, configuration, cli_parser, arg 등으로 구성된 main 함수의 내용을 다음 포스팅에서 하나씩 살펴보기로 한다.
[Airflow 파먹기] Airflow의 component는 어떻게 실행될까?2023. 05. 13.0분1. Airflow의 component Airflow는 위 그림처럼 5개(scheduler, worker, webserver, meta db, queue)로 구성되어 있다. 이 컴포넌트들이 어떻게 연결되는지 궁금했다.
[Airflow 파먹기] 시작 !2023. 05. 13.2분앞으로 작성할 글들에서 Airflow 코드가 어떻게 구성되어 있고 어떻게 동작하는지 알아보려고 한다. 즉, Airflow가 어떤 것인지에 대해서는 다루지 않는다. Airflow에 대한 설명은 추후에 진행하는 걸로 하고, 코드를 뜯으러 가보자
# 12. 준비, 조준, 발사2023. 01. 22.1분12. 준비, 조준, 발사 조준하고 숨 참고 쏴. 군대에서 사격할 때마다 들었던 말이다. 우리는 보통 발사(행동)를 가장 마지막에 한다. 최선을 다해서, 최선의 결과를 위해서 말이다. 그런데 현실에서 단 한 번의 행동으로 최선의 결과를 만들 수 있을까? 군대에서도 마찬가지였다. 단 한 번의 시도로 20발을 전부 표적지에 명중시키는 사람은 드물었다. 그래서 우리는 …
11. 조금씩 알아간다는 건2023. 01. 08.2분11. 조금씩 알아간다는 건#나 나는 나에 대해 얼마나 알고 있을까? 사실 나도 나를 잘 모르겠다. 과연 나는 나를 명확하게 정의할 수 있을까? 예전에는 흑백논리처럼 이분법적으로 나눌 수 있다고 생각했다. 그래서인지 한쪽으로 너무 편향되게 나를 정의했다. 그러나 세상은 이분법적으로 완벽하게 나눠질 수 없다. 춥다와 덥다 그사이에 애매모호한 단계를 Fuzzy Theory라고 한다. …
8. 망한 행사에 대한 회고2023. 01. 08.1분8. 망한 행사에 대한 회고이번 한 주는 많은 도전이 있었다. 그중 가장 기억에 남는 것은 스시런톡이다. 스시런톡은 간단한 토크 형식으로 진행되는 사내 행사이다. 세미나보다는 가벼운 형식으로 진행하는 지식 공유의 장을 만들고 싶었다. 첫술에 배부를 수는 없겠지만, 많이 아쉽긴 했다. 어떤 사람은 괜찮았다고, 처음이 제일 어렵다고 위로와 긍정적인 말을 해주었지만, 어떤 …
6. 계획대로2023. 01. 08.1분6. 계획대로과거에 많은 것을 철저하게 계획했다. 그래서 많은 것들이 완벽하게 계획대로 움직였다. 친구들이랑 놀러갈때도 데이트를 할때도 마찬가지였다. 시간 단위로 계획하고 예상치 못한 일이 발생할 것을 대비해서 어느 정도 여유 시간도 계획하고 비와 같은 외부 변수도 고려해서 전혀 다른 계획을 2~3가지 정도 만들었다. 이 정도 했는데 계획이 어그러질 일이 있을까? 대부분의 …
5. 완벽한 나2023. 01. 08.2분5. 완벽한 나나는 대학생 시절부터 '무엇이든 완벽하게 해야 한다', '완벽하게 하지 못한다면 안 하는 것만 못하다'라는 생각하면서 스스로를 몰아붙였다. 이런 생각이 바람직하지 못하다는 것을 알게 된 지금도 가끔 비슷한 생각을 하는 실수를 저지르곤 한다. 생각해보면 사람은 불완전한 존재이기에 완벽해질 수 없다. 당연함을 거스르고자 했던 나를 되돌아보니 생각보다 많은 부분이 망가져 …
4. 잘 하고 있을까?2023. 01. 08.1분4. 잘 하고 있을까?엄청나게 바쁘다가 순간적으로 여유가 생길 때가 있다. 다른 사람들은 이 여유를 즐기겠지만, 나는 이때가 가장 불안하다. 그래서 이것저것 일을 찾기도 하고 만들어보기도 한다. 그럼에도 불구하고 얼마 지나지 않아 여유가 생긴다. 내가 업무를 주도적으로 못하는 것인가에 대한 의문이 든다. 이 이야기를 1 on 1 때 테크 리더분께 드렸더니, …
1. 사람과 사람이 만나는 일은 세계와 세계가 만나는 일2023. 01. 08.1분1. 사람과 사람이 만나는 일은 세계와 세계가 만나는 일이전에도 그렇고 지금도 마찬가지로 새로운 사람을 만나고 돌아오면 진이 다 빠진다. 그래서 가능하면 익숙한 사람들과의 만남만 추구했다. 이것 또한 '처음 만난 사람들에게 가능하면 좋은 모습만 보여주고자 하는' 완벽주의에 기인하여 더 피곤하게 느꼈을지도 모르겠다. 최근에 성장보다는 안주(재미있는 직장, 좋은 동료, 편안한 환경 등)를 …
10. 2022년에 나는 얼마나 성장했을까?2022. 12. 31.13분원래는 링크드인에 바로 작성하였지만, 글자수 제한으로 부득이하게 블로그에 작성합니다... ㅠ 10. 2022년에 나는 얼마나 성장했을까? 올해의 키워드 : 좋은 사람들, 지식 공유 올해는 정말 많은 일들이 있었다. 한 문장으로 표현하자면, ‘지금까지의 경험 중 가장 인상 깊은 경험을 한 해’라고 표현할 수 있겠다. 매 순간이 새로웠으며 경험치를 갱신하는 순간들이였다. 특히 올해는 …
7. 전문가가 되기 위해서2022. 12. 04.1분7. 전문가가 되기 위해서1만 시간의 법칙이 있다. 어떤 분야든 전문가가 되기 위해서는 1만 시간을 투자해야 한다는 말이다. 그렇다고 단순히 1만 시간을 쏟는 것만으로 전문가가 되는 것은 아니라고 생각한다. 수동적인 사람과 능동적인 사람이 같은 시간을 투자해도 질적으로 많은 차이가 있을 것이다. 그러면 능동적으로 많은 시간을 투자해야 하는 것인데, ‘능동적으로 한다’는 게 …
2022년 11월 4주차 회고2022. 11. 26.1분6. 계획대로과거에 많은 것을 철저하게 계획했다. 그래서 많은 것들이 완벽하게 계획대로 움직였다. 친구들이랑 놀러갈때도 데이트를 할때도 마찬가지였다. 시간 단위로 계획하고 예상치 못한 일이 발생할 것을 대비해서 어느 정도 여유 시간도 계획하고 비와 같은 외부 변수도 고려해서 전혀 다른 계획을 2~3가지 정도 만들었다. 이 정도 했는데 계획이 어그러질 일이 있을까? 대부분의 …
2022년 11월 3주차 회고2022. 11. 20.2분1. 완벽한 나나는 대학생 시절부터 '무엇이든 완벽하게 해야 한다', '완벽하게 하지 못한다면 안 하는 것만 못하다'라는 생각하면서 스스로를 몰아붙였다. 이런 생각이 바람직하지 못하다는 것을 알게 된 지금도 가끔 비슷한 생각을 하는 실수를 저지르곤 한다. 생각해보면 사람은 불완전한 존재이기에 완벽해질 수 없다. 당연함을 거스르고자 했던 나를 되돌아보니 생각보다 많은 부분이 망가져 …
2022년 11월 2주차 회고2022. 11. 13.1분1. 잘 하고 있을까?엄청나게 바쁘다가 순간적으로 여유가 생길 때가 있다. 다른 사람들은 이 여유를 즐기겠지만, 나는 이때가 가장 불안하다. 그래서 이것저것 일을 찾기도 하고 만들어보기도 한다. 그럼에도 불구하고 얼마 지나지 않아 여유가 생긴다. 내가 업무를 주도적으로 못하는 것인가에 대한 의문이 든다. 이 이야기를 1 on 1 때 테크 리더분께 드렸더니, …
2022년 11월 1주차 주간 회고2022. 11. 05.1분1. 당신의 시간은 얼마인가요?내 시간은 얼마일까? 시간을 돈으로 환산해도 될까? 우리는 이미 시간을 돈으로 환산해서 월급을 받고 있는데 못할 것도 없지 않을까싶다. 출퇴근에 날리는 기회비용은 대략 얼마일까? 하루에 3시간씩 한달이면 대략 60만원이다. 만약 이 시간을 아껴서 부가가치를 창출할 수 있다면 어떨까? 지하철에서도 책을 읽고 세미나를 들을 수 있다. 다만 그게 …
2022년 10월 4주차 주간 회고2022. 10. 30.1분1. 돈과 시간 중 어떤 것을 선택해야할까?간단하고 누구나 해봤을만한 고민거리다. 회사 근처에서 자취를 하며 출퇴근 시간을 줄이는 것과 돈을 아끼기 위해 출퇴근을 하는 것. 물론 재택이 가능하기에 의미없는 고민일 수도 있지만, 재택이 상상하는 것만큼 효율적이지는 않더라. 어떤 선택이 더 좋을지 6개월 정도 생각해봤지만, 경험없는 생각만으로는 명확한 답이 나올리가 없다. 그래서 …
2022년 10월 3주차 주간 회고2022. 10. 23.1분1. 사람과 사람이 만나는 일은 세계와 세계가 만나는 일이전에도 그렇고 지금도 마찬가지로 새로운 사람을 만나고 돌아오면 진이 다 빠진다. 그래서 가능하면 익숙한 사람들과의 만남만 추구했다. 이것 또한 '처음 만난 사람들에게 가능하면 좋은 모습만 보여주고자 하는' 완벽주의에 기인하여 더 피곤하게 느꼈을지도 모르겠다. 최근에 성장보다는 안주(재미있는 직장, 좋은 동료, 편안한 환경 등)를 …
체크인 리얼밸리(한기용님) - 좋은 시니어들이 되기 위한 커리어 조언2022. 10. 22.2분이 글은 좋은 시니어가 되기 위한 커리어 조언으로, 다양한 방향성과 역할 시도, 결과에 집중하는 것, 자기 성장을 저해하는 요소 극복, 복리가 있는 일, 네트워크의 중요성, 자신의 강점과 약점 이해, Imposter Syndrome 극복, 소통, 운영을 고려한 코드 작성 등을 다루고 있다.
[인프콘] 어느 날 고민 많은 주니어 개발자가 찾아왔다2022. 09. 09.1분지속적으로 학습하고 성장하는 방법시스템 (목표의 성공, 실패가 아닌 과정에 충실) -> (김연아) 무슨생각을 해. 그냥 하는거지 시스템을 반복하면서 나에게 맞게 개선한다. (지속해서 성장 -> 개발 역량 상승 -> 이직 확률 상승) 피드백이 빠를수록 좋다. 시스템을 통해서 계속 성장 -> 피드백을 통해 나의 상태, 부족한 부분을 확인. -> 부족한 부분을 시스템을 …
나라면 나와 결혼할까?2022. 09. 04.4분1. 표지 2. 책 정보A. 분류 에세이 연애/사랑 에세이 외국 에세이 B. 책소개a. 줄거리돈이 있다고 품위가 생기는 것은 아니다. 수수한 옷을 걸쳤어도 약자든 강자든 똑같이 배려하고 공손히 대하는 사람이, 온몸에 명품을 휘두른 채 어린 아르바이트생에게 벌레가 붙은 케이크를 먹으라고 소리치는 사람보다 훨씬 품위 있지 않은가. 견문이 많다고 절로 품위가 생기지도 …
![[Airflow 파먹기] 시작 !](/resources/media/images/title/2024/6/9/mildsalmon/14_K0rlcsB5.webp.minify.webp)