김학진
@mildsalmon
mildsalmon.notion.site
·
흔치않고, 진귀하다.

태그

Diving Into Delta Lake - Unpacking The Transaction Log

이 블로그 포스트에서는 Delta Lake의 핵심 개념인 트랜잭션 로그에 대해 설명하고, 파일 수준에서의 동작 방식과 동시 읽기 및 쓰기 문제에 대한 해결책을 제공합니다. Delta Lake 트랜잭션 로그는 Delta Lake 테이블이 생성된 이후에 수행된 모든 트랜잭션을 기록하는 중앙 레포지토리 역할을 합니다. 이를 통해 사용자는 항상 최신 데이터 뷰를 볼 수 있으며, ACID 트랜잭션과 확장 가능한 메타데이터 처리, 타임 트래블 기능 등을 지원합니다. 또한 트랜잭션 로그는 Delta Lake의 원자성을 보장하는 메커니즘으로 작용하며, 파일 추가, 제거, 메타데이터 업데이트 등의 단계로 트랜잭션을 세분화하여 로그에 기록합니다. 이를 통해 Delta Lake는 테이블의 상태를 정확하게 추적하고, 시간 여행 기능을 지원하며, 데이터 파일을 제거해도 테이블의 상태를 유지할 수 있습니다. 또한 Delta Lake는 효율적인 읽기를 위해 체크포인트 파일을 사용하여 테이블의 상태를 빠르게 재현할 수 있습니다.

2023년 11월 25일 · 13 min read

spark
deltalake
lakehouse
delta

Spark 맛보기 - 4. RDD, DataFrame, DataSet API

RDD(Resilient Distributed Dataset)는 Apache Spark의 핵심 개념으로, 분산 환경에서 병렬로 처리될 수 있는 불변의 데이터 컬렉션이다. RDD는 불변성, 탄력성, 분산 처리의 특징을 가지며, transformation과 action을 통해 작업을 수행한다. RDD는 Spark의 초기 데이터 추상화 모델이며, DataFrame과 Dataset과 같은 고수준의 추상화가 도입되었다. RDD의 주요 문제로는 사용자가 연산 함수 안에서 무엇을 하는지 스파크가 알 수 없었고, 데이터 압축 기술을 적용하기 어려웠다. Spark의 구조 확립을 위해 일상적인 패턴을 사용하여 연산을 표현하고, 지원 언어에서의 API 사용이 가능해졌다. 스파크의 핵심 장점과 이득구조를 갖추면 더 나은 성능과 공간 효율성을 얻을 수 있다. Spark DataFrame은 이름 있는 컬럼과 스키마를 가진 분산 인메모리 테이블의 역할을 하며, 스파크의 기본 데이터 타입과 정형화 타입을 지원한다. 스키마와 데이터 프레임을 미리 정의하는 것은 스파크의 성능과 비용을 개선하는데 도움이 된다.

2023년 11월 12일 · 26 min read

spark
입문
4장

Spark 맛보기 - 3. transformation, action, lazy evaluation

Spark의 RDD는 불변성을 가지고 있으며, 변경이 필요할 때는 새로운 RDD를 생성하는 transformation 과정을 거칩니다. transformation은 lazy evaluation으로 실행 계획을 최적화하고, narrow transformation은 하나의 입력 파티션을 연산하여 하나의 결과 파티션을 내놓으며, wide transformation은 다른 파티션의 데이터를 읽어 들여서 합치고 디스크에 쓰는 등의 작업을 합니다. action은 모든 transformation의 평가를 발동시키며, show(), take(), count(), collect(), save()와 같은 연산을 수행합니다. Lazy Evaluation은 쿼리 최적화와 데이터 내구성을 제공하며, 효율성, 최적화, 고비용 연산의 최소화를 특징으로 합니다.

2023년 11월 05일 · 5 min read

spark
입문
3장

[requests 라이브러리] 내가 아는 timeout은 너무 추상적이였어..

requests 라이브러리를 사용하여 python에서 HTTP 통신을 할 때 timeout 파라미터를 사용하여 응답을 기다리는 시간을 제한할 수 있다. 그러나 timeout 값이 정확히 어떤 순간을 의미하는지에 대해 혼동이 있을 수 있다. 이 글에서는 timeout 값이 client에서 server의 응답을 받는 시간을 의미한다고 가정하고, 실제 코드를 통해 그 동작을 확인해보았다. 또한, ConnectionTimeoutError와 ReadTimeoutError가 어디서 발생하는지와 timeout을 초과하는 경우에 왜 에러가 발생하지 않는지에 대해서도 알아보았다.

2023년 10월 28일 · 31 min read

python
request

Spark 맛보기 - 2. 스파크 애플리케이션 개념

스파크 애플리케이션은 스파크 드라이버 프로그램과 클러스터의 실행기로 구성되며, SparkSession 객체를 통해 스파크 연산을 수행하는 API를 사용하여 프로그래밍할 수 있습니다. 스파크 애플리케이션은 여러 개의 job으로 변환되고, 각 job은 DAG로 변환되어 실행 계획이 됩니다. 연산은 여러 스테이지로 나뉘며, 각각의 스테이지는 최소 실행 단위인 스파크 task로 구성됩니다. SparkContext는 Spark 애플리케이션의 진입점이며, SparkSession은 SparkContext, SQLContext, HiveContext 등을 통합한 단일 진입점입니다.

2023년 10월 22일 · 2 min read

spark
입문
2장

Spark 맛보기 - 1. Spark란?

Apache Spark는 대규모 분산 데이터 처리를 위해 설계된 통합형 엔진으로, 속도, 사용 편의성, 모듈성, 확장성이라는 핵심 특성을 가지고 있다. Spark는 메모리 저장소를 지원하여 MapReduce보다 훨씬 빠르게 동작하며, MLlib, Spark SQL, Spark Streaming, GraphX 등의 라이브러리를 포함하고 있다. Spark는 스파크 코어를 중심으로 다양한 컴포넌트들이 함께 동작하며, 분산 아키텍처를 통해 데이터를 처리하고 분석하는 통합 엔진으로 사용된다.

2023년 10월 21일 · 6 min read

spark
입문
1장

[서평] 세상 끝의 카페

이 책은 생각할 거리를 제공하며, 편한 것을 추구하는 우리에게 새로운 아이디어와 기회를 얻기 위해 새로운 방향으로 나아가야 함을 알려줍니다. 또한, 만족스러운 삶과 열심히 사는 사람들의 영향력에 대해 이야기하며, 자신이 진정으로 원하는 일을 조금씩 해나가야 한다는 메시지를 전달합니다.

2023년 09월 16일 · 1 min read

서평
자기계발
연금술사
세상끝의카페

[데이터 파이프라인 구축기] 시작

이 프로젝트를 시작한 이유는 기업에서 데이터 인프라를 구축하는 과정을 경험하면서 자신감을 얻고 싶었기 때문입니다. 또한, 고팍스의 Gorocket 프로젝트를 내 방식으로 구축해보고 싶고, 경쟁을 위해 프로그래머스 KDT 1기 데이터 엔지니어링 과정의 최종 프로젝트에 도전하려는 마음도 있습니다. 또한, 시간이 많아질 것을 대비하여 새로운 기술을 사용해보고 싶은 욕구도 있습니다. 프로젝트의 목표는 AWS 클라우드와 도커를 사용하여 데이터 인프라를 구축하고, 데이터 레이크와 데이터 웨어하우스를 구축하는 것입니다. 또한, Spark, Glue, Athena, Airflow 등 다양한 기술을 활용하여 데이터 품질 검증, CI/CD, BI, 알림 등을 구현할 예정입니다. 프로젝트 구조는 간단한 파이프라인으로 도식화되었으며, MWAA를 사용하지 않고 EC2를 선택한 이유와 Athena, Glue를 사용한 이유 등에 대한 질문과 결론은 프로젝트를 진행하면서 해결해보려고 합니다.

2023년 07월 30일 · 2 min read

데이터파이프라인