OOP를 곁들인 Data Quality Check2024년 6월 23일7분0. To-DoData Warehouse에 Data를 적재하기 전후로 필요한 Data가 잘 적재되어 있는지, 적재한 데이터가 잘 적재되었는지를 검증할 필요가 생겼다. [사진 1]로 예를 들면 DW Table 9를 적재하기 전에는 DL Table 1, DL Table 2 데이터가 누락되지 않았는지 확인해야 한다. DW Table 9를 적재한 후에는 잘 적재되었는지 확인해야 한다. [사진 1] DW에 …
[Airflow 개선 - DAG Factory] 2. DAG Factory2023년 7월 16일20분DAG Factory 설계 방향과 UML 다이어그램, 그리고 코드 구조를 설명하는 글입니다. 추상화된 인터페이스를 사용하지 않은 이유와 DAG Factory의 생성자를 조금씩 나눠서 구현하는 방법을 제시합니다.
[Airflow 개선 - DAG Factory] 1. 왜 하는가?2023년 7월 8일11분DAG script 코드에서 중복 코드 문제가 발생하여 Design Patterns을 활용하여 개선하려고 한다. DAG Factory를 구현하여 중복 코드를 해결하고, 변경 포인트를 분산시키는 문제를 해결하기 위해 Factory Method와 Abstract Factory Patterns을 사용한다. 이를 통해 코드의 효율성을 높이고 반복 작업을 줄일 수 있다.
