[Airflow 파먹기] 시작 !2023년 5월 13일2분앞으로 작성할 글들에서 Airflow 코드가 어떻게 구성되어 있고 어떻게 동작하는지 알아보려고 한다. 즉, Airflow가 어떤 것인지에 대해서는 다루지 않는다. Airflow에 대한 설명은 추후에 진행하는 걸로 하고, 코드를 뜯으러 가보자
s32022년 4월 14일2분Version - 3.3.0 1. airflow.providers.amazon.aws.hooks.s3A. 공식 DocumentB. Source Codea. Methodload_file @provide_bucket_name @unify_bucket_name_and_key def load_file( self, filename: Union[Path, str], key: str, bucket_name: Optional[str] = None, replace: bool = False, encrypt: bool = False, gzip: bool = False, acl_policy: Optional[str] = None, ) -> None: filename = str(filename) if not replace and …
get_template_context2022년 4월 14일2분Version - 3.3.0 1. airflow.models.taskinstanceA. 공식 Document너무 김.. B. Source Codea. context의 인자들 return { 'conf': conf, 'dag': task.dag, 'dag_run': dag_run, 'ds': ds, 'ds_nodash': ds_nodash, 'execution_date': pendulum.instance(self.execution_date), 'inlets': task.inlets, 'macros': macros, 'next_ds': next_ds, 'next_ds_nodash': next_ds_nodash, 'next_execution_date': next_execution_date, 'outlets': task.outlets, 'params': params, 'prev_ds': prev_ds, 'prev_ds_nodash': prev_ds_nodash, 'prev_execution_date': prev_execution_date, 'prev_execution_date_success': lazy_object_proxy.Proxy( lambda: …
MySQLToS3Operator2022년 4월 14일16분면접에서는 데이터 엔지니어 직무와 관련하여 S3의 key 생성 방법, MySQLToS3Operator의 동작 방식 등에 대해 물어보았다. 면접 복기를 통해 자신이 약점이라고 생각하는 부분을 다시 공부하고자 하였으며, 이전에는 남들의 지식을 바탕으로 학습했다면 이제는 스스로 모든 것을 공부해보고자 했다. 또한, 이번 면접을 통해 자신이 더 많은 것을 배울 수 있는 기회가 되었다는 것을 느꼈다.
![[Airflow 파먹기] 시작 !](/resources/media/images/title/2024/6/9/mildsalmon/14_K0rlcsB5.webp.minify.webp)