조직에서는 특정 워크로드, 팀, 규정 요건 또는 운영상의 필요에 따라 각각 맞춤화된 여러 개의 Iceberg 카탈로그를 관리하는 경우가 있습니다. 이렇게 다양한 카탈로그를 통해 조직은 데이터 전략을 최적화할 수 있지만, 액세스를 통합하고 원활한 통합을 보장하는 데 어려움을 겪기도 합니다. Apache Polaris는 Apache Iceberg REST 카탈로그 사양을 사용하여 외부 Iceberg 카탈로그에 연결할 수 있도록 함으로써 이 문제를 해결합니다. 이 혁신적인 기능을 통해 Polaris는 기본 카탈로그에 관계없이 모든 Iceberg 테이블에 대한 중앙 액세스 포인트 역할을 할 수 있으므로 다중 카탈로그 사용 사례를 간소화하고 운영 유연성을 향상시킬 수 있습니다.
Polaris를 사용하면 사용자는 외부 카탈로그의 Iceberg 테이블을 마치 Polaris의 일부인 것처럼 쿼리하고 관리할 수 있습니다. 최종 사용자는 Polaris 카탈로그를 선호하는 엔진에 연결함으로써 별도의 자격 증명이나 인터페이스를 관리할 필요 없이 여러 카탈로그의 데이터 세트에 통합 액세스할 수 있습니다(그림 4-1). 이 기능을 사용하면 일관성 있고 사용자 친화적인 환경을 유지하면서 여러 카탈로그의 장점을 훨씬 쉽게 활용할 수 있습니다.
그림 4-1. Polaris에 액세스하면 레이크하우스에 있는 모든 카탈로그에 액세스할 수 있습니다.
여러 산업 분야의 조직은 때로는 지역 규정 준수 때문에, 때로는 도구 선호도 때문에, 때로는 단순히 유기적인 성장의 결과로 인해 여러 개의 Iceberg 카탈로그를 관리해야 하는 경우가 많습니다. Polaris는 통합 인터페이스를 통해 교차 카탈로그 액세스를 가능하게 함으로써 이러한 복잡성을 간소화합니다. 다음은 외부 카탈로그와 Polaris의 통합이 데이터 엔지니어와 아키텍트에게 특히 유용하다는 것이 입증된 몇 가지 일반적인 시나리오입니다:
점진적 마이그레이션
다른 카탈로그를 사용하다가 Polaris로 전환하는 경우, 마이그레이션 프로세스 중에도 모든 Iceberg 테이블에 대한 액세스를 유지할 수 있습니다. 이렇게 하면 사용자와 워크플로의 중단을 최소화하는 동시에 시간이 지남에 따라 Polaris에서 관리를 중앙 집중화할 수 있습니다.
파트너 데이터 통합
외부 파트너의 데이터에 액세스하는 조직의 경우, 외부 카탈로그를 연결하면 내부 데이터와 함께 파트너 데이터세트를 원활하게 사용할 수 있습니다. 이러한 통합 액세스는 적절한 역할/권한 모델과 함께 작동하여 협업을 간소화하고 데이터 기반 의사 결정을 강화합니다.
워크로드 최적화
일부 카탈로그는 특정 워크로드에 특화된 기능을 제공합니다. 예를 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
