โ€œ๐Ÿ”๏ธ Diving Into Delta Lakeโ€ ์‹œ๋ฆฌ์ฆˆ

databricks ๊ธ€์„ ๋ฒˆ์—ญ ๋ฐ ์ •๋ฆฌํ•ด์„œ ์›๋ฆฌ์— ๋Œ€ํ•ด ๊ณต๋ถ€ํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”๏ธ Diving Into Delta Lake

Created by @mildsalmon

001. Diving Into Delta Lake - Unpacking The Transaction Log

์ด ๋ธ”๋กœ๊ทธ ํฌ์ŠคํŠธ์—์„œ๋Š” Delta Lake์˜ ํ•ต์‹ฌ ๊ฐœ๋…์ธ ํŠธ๋žœ์žญ์…˜ ๋กœ๊ทธ์— ๋Œ€ํ•ด ์„ค๋ช…ํ•˜๊ณ , ํŒŒ์ผ ์ˆ˜์ค€์—์„œ์˜ ๋™์ž‘ ๋ฐฉ์‹๊ณผ ๋™์‹œ ์ฝ๊ธฐ ๋ฐ ์“ฐ๊ธฐ ๋ฌธ์ œ์— ๋Œ€ํ•œ ํ•ด๊ฒฐ์ฑ…์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. Delta Lake ํŠธ๋žœ์žญ์…˜ ๋กœ๊ทธ๋Š” Delta Lake ํ…Œ์ด๋ธ”์ด ์ƒ์„ฑ๋œ ์ดํ›„์— ์ˆ˜ํ–‰๋œ ๋ชจ๋“  ํŠธ๋žœ์žญ์…˜์„ ๊ธฐ๋กํ•˜๋Š” ์ค‘์•™ ๋ ˆํฌ์ง€ํ† ๋ฆฌ ์—ญํ• ์„ ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ์‚ฌ์šฉ์ž๋Š” ํ•ญ์ƒ ์ตœ์‹  ๋ฐ์ดํ„ฐ ๋ทฐ๋ฅผ ๋ณผ ์ˆ˜ ์žˆ์œผ๋ฉฐ, ACID ํŠธ๋žœ์žญ์…˜๊ณผ ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ, ํƒ€์ž„ ํŠธ๋ž˜๋ธ” ๊ธฐ๋Šฅ ๋“ฑ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ํŠธ๋žœ์žญ์…˜ ๋กœ๊ทธ๋Š” Delta Lake์˜ ์›์ž์„ฑ์„ ๋ณด์žฅํ•˜๋Š” ๋ฉ”์ปค๋‹ˆ์ฆ˜์œผ๋กœ ์ž‘์šฉํ•˜๋ฉฐ, ํŒŒ์ผ ์ถ”๊ฐ€, ์ œ๊ฑฐ, ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์—…๋ฐ์ดํŠธ ๋“ฑ์˜ ๋‹จ๊ณ„๋กœ ํŠธ๋žœ์žญ์…˜์„ ์„ธ๋ถ„ํ™”ํ•˜์—ฌ ๋กœ๊ทธ์— ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด Delta Lake๋Š” ํ…Œ์ด๋ธ”์˜ ์ƒํƒœ๋ฅผ ์ •ํ™•ํ•˜๊ฒŒ ์ถ”์ ํ•˜๊ณ , ์‹œ๊ฐ„ ์—ฌํ–‰ ๊ธฐ๋Šฅ์„ ์ง€์›ํ•˜๋ฉฐ, ๋ฐ์ดํ„ฐ ํŒŒ์ผ์„ ์ œ๊ฑฐํ•ด๋„ ํ…Œ์ด๋ธ”์˜ ์ƒํƒœ๋ฅผ ์œ ์ง€ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ Delta Lake๋Š” ํšจ์œจ์ ์ธ ์ฝ๊ธฐ๋ฅผ ์œ„ํ•ด ์ฒดํฌํฌ์ธํŠธ ํŒŒ์ผ์„ ์‚ฌ์šฉํ•˜์—ฌ ํ…Œ์ด๋ธ”์˜ ์ƒํƒœ๋ฅผ ๋น ๋ฅด๊ฒŒ ์žฌํ˜„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

2023๋…„ 11์›” 25์ผ

ยท

13๋ถ„ ๋ถ„๋Ÿ‰