6 posts
제 마음대로 요약하고 정리하는 것이라 빠진 내용들이 많습니다. 시간적 여유가 있으시면, 책을 구매하셔서 읽어보시는 것을 권유드립니다. 1. 빅데이터 시대의 데이터 분석 기반 빅데이터 기술이 기존의 데이터 웨어하우스와 다른 점은 다수의 분산 시스템을 조합하여 확장성이 뛰어난 데이터 처리 구조를 만든다는 점이다. A. [재입문] 빅데이터의 기술 분산 시스템을 활용해서 데이터를 가공해 나가는 …
제 마음대로 요약하고 정리하는 것이라 빠진 내용들이 많습니다. 시간적 여유가 있으시면, 책을 구매하셔서 읽어보시는 것을 권유드립니다. 1. 빅데이터의 정착 "분산 시스템의 발전"과 "클라우드 서비스의 보급"에 따라 대량의 데이터를 효율적으로 처리하는 일이 점차 어렵게 되었다. 이 절에서는 "빅데이터"라는 단어가 퍼질 때까지의 역사를 되돌아본다. A. 분산 시스템에 의한 데이터 처리의 고속화 빅데이터의 …
0. 이 책에 대하여 빅데이터를 지탱하는 기술 - 이 책에 대하여 — mildsalmon (blex.me) 1. 빅데이터의 기초 지식 A. [배경] 빅데이터의 정착 빅데이터를 지탱하는 기술 - 빅데이터의 정착 — mildsalmon (blex.me) B. 빅데이터 시대의 데이터 분석 기반 빅데이터를 지탱하는 기술 - 빅데이터 시대의 데이터 분석 기반 — mildsalmon (blex.me)
제 마음대로 요약하고 정리하는 것이라 빠진 내용들이 많습니다. 시간적 여유가 있으시면, 책을 구매하셔서 읽어보시는 것을 권유드립니다. 0. 이 책에 대하여 A. 이 책의 내용 참고문헌 [1] 니시다 케이스케, 장성두 옮김, "빅데이터를 지탱하는 기술", 3쇄, 제이펍, 2021년
1. 책A. 빅데이터를 지탱하는 기술[Book] 빅데이터를 지탱하는 기술 — mildsalmon (blex.me) 2. Airflow[Airflow] Airflow를 경험하며 생긴 의문들 — mildsalmon (blex.me)
1. 맵/리듀스 (Map/Reduce) 대용량 데이터를 신뢰도가 낮은 컴퓨터로 구성된 클러스터 환경에서 병렬 처리를 지원하기 위해서 개발됨 거대한 인풋 데이터를 쪼개어 수 많은 머신들에게 분산시켜서 로직을 수행한 다음 결과를 하나로 합치자는 것이 핵심 아이디어 MR 구글에서 대용량 데이터 처리를 분산 병렬 컴퓨팅에서 처리하기 위한 목적으로 제작한 소프트웨어 프레임워크 함수형 프로그래밍에서 일반적으로 …