Apache Hudi: The Definitive Guide

10장. 엔드투엔드 레이크하우스 솔루션 구축하기

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

얼리 릴리스 독자를 위한 참고 사항

얼리 릴리즈 전자책을 사용하면 저자가 글을 쓸 당시의 편집되지 않은 원시 콘텐츠인 가장 초기 형태의 책을 얻을 수 있으므로 해당 타이틀이 정식 출시되기 훨씬 전에 이러한 기술을 활용할 수 있습니다.

이 책은 마지막 책의 10번째 챕터가 될 것입니다.

이 초안을 검토하고 의견을 제시하는 데 적극적으로 참여하고 싶으시면 편집자에게 이메일( [e-mail])로 연락해 주세요.

프로덕션 레이크하우스를 운영하기 위한 운영 기반을 구축했다면, 이제 Hudi 위에 포괄적인 통합 솔루션을 구축할 수 있는 단계입니다. 이 장에서는 Apache Hudi를 기반으로 엔드투엔드 프로덕션 데이터 레이크하우스 아키텍처를 구축하는 방법을 설명합니다. 고립된 구성 요소를 살펴보는 대신, 초기 수집부터 분석 인사이트 및 AI 기반 애플리케이션에 이르기까지 전체 수명 주기에 걸쳐 단일 데이터 세트를 따라가 보겠습니다.

최신 데이터 아키텍처는 업스트림 소스에서 원활한 데이터 통합, 스트리밍 및 일괄 처리에 대한 통합 지원, 다양한 데이터 유형의 안정적인 처리, 다양한 요구 사항을 가진 여러 다운스트림 소비자에게 서비스를 제공할 수 있는 기능을 필요로 합니다. 완벽한 데이터를 보유하는 것이 중요한 것이 아니라, 데이터 사일로와 운영상의 문제와 같은 현실적인 문제에도 불구하고 핵심 기능을 민첩하게 결합하여 새로운 인사이트를 제공하는 것이 중요합니다. 조직을 위해 '데이터를 쉽게 만들고' 팀이 데이터를 기반으로 구축할 수 있도록 역량을 강화해야 합니다.

이 장에서는 통합된 데이터 레이크하우스 위에 여러 처리 프레임워크를 결합하여 이러한 문제를 해결하는 방법을 설명합니다. Hudi의 다양한 기능은 이러한 수준의 통합을 지원하는 동시에 데이터 일관성, 성능 및 거버넌스와 관련하여 '올바른 방식'으로 작업을 쉽게 수행할 수 있게 해줍니다.

이 장에서는 원시 데이터를 점진적으로 비즈니스 가치로 전환하는 완전한 데이터 플랫폼을 구축하는 방법을 살펴봅니다. 다음을 수행하는 방법을 배우게 됩니다:

• 트랜잭션 보장을 유지하면서 복잡한 업데이트 패턴을 처리하는 Apache Flink와 Hudi Streamer로 스트리밍 변경 사항을 처리하세요.

• Hudi Kafka Connect 싱크를 통해 대용량 로그 데이터를 수집하여 추가 전용 이벤트 스트림을 효율적으로 캡처하세요.

• 증분 처리부터 대화형 분석까지, SQL 기능으로 비즈니스 인사이트를 변환하고 추출하세요.

• AI 애플리케이션에 데이터를 활용하여 대규모 언어 모델(LLM)을 위한 문맥 지식 기반을 생성하여 비즈니스 인사이트를 제공하세요.

참고

8장에서 설명한 Hudi Streamer 도구는 아키텍처의 모든 계층에 걸쳐 수집 기능에도 사용할 수 있습니다. 이 장에서는 Hudi의 도구 체인에 포함된 ...