태그 - airflow

@mildsalmon

11개월 전

2분 분량

[Airflow 파먹기] 시작 !

앞으로 작성할 글들에서 Airflow 코드가 어떻게 구성되어 있고 어떻게 동작하는지 알아보려고 한다. 즉, Airflow가 어떤 것인지에 대해서는 다루지 않는다. Airflow에 대한 설명은 추후에 진행하는 걸로 하고, 코드를 뜯으러 가보자

@mildsalmon

2022. 04. 13.

2분 분량

Version - 3.3.0 1. airflow.providers.amazon.aws.hooks.s3A. 공식 DocumentB. Source Codea. Methodload_file @provide_bucket_name @unify_bucket_name_and_key def load_file( self, filename: Union[Path, str], key: str, bucket_name: Optional[str] = None, replace: bool = False, encrypt: bool = False, gzip: bool = False, acl_policy: Optional[str] = None, ) -> None: filename = str(filename) if not replace and …

@mildsalmon

2022. 04. 13.

2분 분량

get_template_context

Version - 3.3.0 1. airflow.models.taskinstanceA. 공식 Document너무 김.. B. Source Codea. context의 인자들 return { 'conf': conf, 'dag': task.dag, 'dag_run': dag_run, 'ds': ds, 'ds_nodash': ds_nodash, 'execution_date': pendulum.instance(self.execution_date), 'inlets': task.inlets, 'macros': macros, 'next_ds': next_ds, 'next_ds_nodash': next_ds_nodash, 'next_execution_date': next_execution_date, 'outlets': task.outlets, 'params': params, 'prev_ds': prev_ds, 'prev_ds_nodash': prev_ds_nodash, 'prev_execution_date': prev_execution_date, 'prev_execution_date_success': lazy_object_proxy.Proxy( lambda: …

@mildsalmon

2022. 04. 13.

16분 분량

MySQLToS3Operator

면접에서는 데이터 엔지니어 직무와 관련하여 S3의 key 생성 방법, MySQLToS3Operator의 동작 방식 등에 대해 물어보았다. 면접 복기를 통해 자신이 약점이라고 생각하는 부분을 다시 공부하고자 하였으며, 이전에는 남들의 지식을 바탕으로 학습했다면 이제는 스스로 모든 것을 공부해보고자 했다. 또한, 이번 면접을 통해 자신이 더 많은 것을 배울 수 있는 기회가 되었다는 것을 느꼈다.

@mildsalmon

2022. 04. 13.

0분 분량

[Airflow] Airflow를 경험하며 생긴 의문들

1. OperatorA. MySQLToS3OperatorMySQLToS3Operator — mildsalmon (blex.me) 2. ModuleA. contextget_template_context — mildsalmon (blex.me) B. s3s3 — mildsalmon (blex.me)