Databricks의 Unity Catalog를 통한 데이터 거버넌스

2장 Unity 카탈로그 살펴보기

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

2021년, 넥사 부티크( )의 데이터 아키텍트들이 회사의 데이터 거버넌스 전략을 분석하던 중 데이터브릭스(Databricks)는 Unity Catalog를 발표했습니다. 데이터브릭스 플랫폼을 위한 이 네이티브 데이터 거버넌스 솔루션은 HMS를 대체할 수 있는 더 나은 대안을 제공했습니다. Unity 카탈로그는 워크스페이스 경계를 넘어 Unity 카탈로그 볼륨의 테이블, 뷰, ML 및 AI 모델, 벡터 테이블, 파일을 포함한 모든 데이터브릭스 플랫폼 자산에 대한 거버넌스를 통합합니다.

조직은 일반적으로 서로 다른 소스 시스템에서 생성된 여러 데이터 자산을 여러 데이터 포맷으로 작업하기 때문에 여러 데이터 거버넌스 툴이 필요하며, 이는 넥사도 직면한 과제였습니다. 데이터 자산 내에서 수많은 맞춤형 데이터 거버넌스 툴을 사용하면 거버넌스가 파편화되는데, 이는 의도적으로 선택한 것이 아닌 경우가 많습니다. Unity Catalog는 데이터와 AI 자산을 관리할 수 있는 통합적이고 일관된 제품을 제공하여 파편화된 거버넌스 문제를 해결합니다.

이 장에서는 Unity Catalog의 전형적인 아키텍처를 다룹니다. 이 장에서는 거버넌스 요구 사항을 충족하는 데 이상적인 카탈로그를 만드는 내부 구조와 기능을 살펴봅니다.

Unity 카탈로그의 이야기( )는 데이터브릭스의 거버넌스 역사, 특히 데이터 거버넌스 요구 사항을 처리하는 데 있어 HMS의 한계로 시작됩니다. Databricks의 거버넌스 발전과 HMS가 제기한 과제를 살펴보면서 보다 강력하고 확장 가능한 거버넌스 솔루션의 필요성을 깨닫게 되고, 궁극적으로 Databricks의 중앙 거버넌스 도구로 Unity Catalog를 사용하게 됩니다. Unity Catalog를 뒷받침하는 아키텍처 기둥과 설계 원칙에 대한 개요를 제공합니다. 이러한 기초를 통해 Unity Catalog의 내부 작동 방식과 효과적인 거버넌스를 구현하는 방법을 이해하는 데 도움이 됩니다.

Unity 카탈로그 모델을 사용하여 잘 관리되는 데이터 플랫폼을 구축하는 방법을 살펴봅니다. 또한 Nexa가 조직에 Unity 카탈로그 모델을 성공적으로 도입한 준실제 사례를 공유하며, 그 과정에서 겪은 이점과 도전 과제를 강조합니다.

보안 및 액세스 제어를 비롯한 Unity Catalog의 주요 데이터 관리 기능에 대해서도 다룹니다. 이러한 기능을 사용하여 데이터 자산에 대한 안전하고 통제된 액세스를 보장하는 방법을 알아보세요.

지금까지의 거버넌스 스토리

Unity Catalog의 아키텍처에 대해 자세히 알아보기 전에 그 탄생 동기를 이해하는 것이 중요합니다. HMS 기반 데이터 카탈로그에 기반한 기존 데이터 거버넌스 기능의 어떤 한계가 Unity Catalog를 만들게 되었을까요? 이에 대한 답을 찾기 위해 한 걸음 뒤로 물러나 기존 HMS 설정에서 데이터 거버넌스가 ...