Apache Hudi: The Definitive Guide

2장 Hudi 시작하기

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

얼리 릴리스 독자를 위한 참고 사항

얼리 릴리즈 전자책을 사용하면 저자가 글을 쓸 당시의 편집되지 않은 원시 콘텐츠인 가장 초기 형태의 책을 얻을 수 있으므로 해당 타이틀이 공식적으로 출시되기 훨씬 전에 이러한 기술을 활용할 수 있습니다.

이 책은 최종 책의 두 번째 챕터가 될 것입니다.

이 초안을 검토하고 의견을 제시하는 데 적극적으로 참여하고 싶으시면 편집자에게 이메일( [e-mail])로 연락해 주세요.

1장에서는 최신 데이터 아키텍처를 위한 강력한 선택이 될 수 있는 Apache Hudi의 기본 개념에 대해 살펴보았습니다. 데이터 레이크가 어떻게 레이크하우스로 진화해 왔는지 살펴보고, 이 생태계에서 Hudi의 위치에 대해 논의했으며, 상위 아키텍처인 Hudi 스택과 주요 기능의 주요 내용을 검토했습니다. 이러한 개념은 필수적인 맥락을 제공하지만, Hudi의 기능을 진정으로 이해하는 가장 좋은 방법은 직접 경험하는 것입니다.

이 장에서는 이론에서 실습으로 넘어갑니다. 단순히 기능을 나열하는 대신 다양한 구성과 작업에서 Hudi 테이블이 어떻게 작동하는지 시연하여 일반적인 레이크하우스 작업을 수행할 때 기본 테이블 레이아웃이 어떻게 진화하는지 직접 관찰할 수 있도록 하겠습니다.

간단한 구매 추적 테이블로 시작하여 Apache Spark를 사용하여 일반적인 CRUD(생성, 읽기, 업데이트 및 삭제) 작업을 수행해 보겠습니다. 이러한 명령을 실행하면서 테이블의 물리적 구조가 어떻게 변경되는지 살펴보고, Hudi가 백그라운드에서 데이터를 어떻게 구성하고 관리하는지를 직관적으로 이해할 수 있도록 도와드립니다.

이 장은 서로를 기반으로 하는 세 개의 점진적인 섹션으로 구성되어 있습니다. '기본 작업'에서는 기본 COW(Copy-on-Write) 테이블 유형을 사용하여 Hudi 테이블을 만들고 기본적인 CRUD 작업을 살펴봅니다. SQL 예제를 실행하면서 각 작업이 테이블 레이아웃에 미치는 영향을 살펴보고 레코드 키, 파티셔닝 및 타임라인 내부와 같은 핵심 개념을 배웁니다.

'테이블 유형 선택'에서는 이 대체 구성으로 구매 테이블을 다시 생성하여 Hudi의 MOR(Merge-on-Read) 테이블 유형을 소개합니다. 두 테이블 레이아웃을 나란히 비교하면 각 접근 방식이 뛰어난 성능 절충안과 실제 시나리오를 확인할 수 있으므로 사용 사례에 적합한 테이블 유형을 선택하는 데 도움이 됩니다.

마지막으로, '고급 사용법'에서는 레이크하우스 테이블 작업을 위한 추가 SQL 패턴을 보여줍니다. 이 예에서는 CTAS, 병합, 비기록 키 필드를 사용한 업데이트, 시간 이동 쿼리, 증분 쿼리와 같은 작업을 보여줌으로써 단순한 CRUD 작업 이상의 복잡한 요구 사항을 해결합니다.

이 장이 끝나면 Hudi 테이블이 실제로 어떻게 작동하는지에 대한 탄탄한 이해와 함께 이후 장에서 다루는 ...