Databricks의 Unity Catalog를 통한 데이터 거버넌스

머리말

데이터와 AI 자산을 활용, 보호, 관리하는 능력은 단순한 기술적 요건이 아니라 전략적 필수 요소입니다. 조직이 분석과 AI 도입을 가속화함에 따라 데이터 에코시스템의 복잡성과 규모가 기하급수적으로 커졌습니다. 강력한 거버넌스, 규정 준수 및 보안을 유지하면서 데이터와 AI에 대한 액세스를 어떻게 민주화할 수 있을까요?

유니티는 이러한 과제에 대응하기 위해 데이터 및 AI를 위한 업계 최초의 통합 거버넌스 시스템인 Unity 카탈로그( )를 개발했습니다. 2020년에 프로젝트 작업을 시작했을 때, 데이터 분석 작업 자체보다 고품질 데이터 세트 관리의 복잡성 때문에 어려움을 겪는 고객이 점점 더 많아지고 있었습니다. 게다가 이러한 고객들은 표 형식의 데이터 외에도 비정형 데이터와 AI를 사용하기 시작했고, 이러한 데이터에는 완전히 다른 거버넌스 인프라가 필요했습니다.

이 시점에서 우리는 플랫폼에 개별 거버넌스 기능을 패치하거나, 아니면 비정형 파일에서 AI 모델에 이르기까지 데이터의 전체 수명 주기에 걸쳐 통합 거버넌스 시스템을 설계하는 두 가지 선택지가 있었습니다. 이 문제를 '올바른' 방식으로 해결하면 고객의 삶을 크게 간소화할 수 있다고 믿었기 때문에 후자를 선택했습니다. 현재 대부분의 워크로드가 Unity Catalog에서 실행되고 있으며, 고객들은 통합 거버넌스의 단순성을 통해 상당한 개선을 경험했다고 보고하는 등 이 베팅은 성과를 거두었습니다.

데이터브릭스는 항상 오픈 소스 소프트웨어와 오픈 포맷을 지지해 왔습니다( ). Unity Catalog도 마찬가지입니다. Unity Catalog는 데이터와 AI를 위한 가장 개방적이고 상호 운용 가능한 카탈로그가 되는 것을 비전으로 삼고 있습니다. 유니티는 카탈로그 외에도 현재 업계에서 가장 큰 데이터 전달 에코시스템 중 하나인 델타 셰어링 프로토콜을 개발하여 기업 간 데이터 공유를 위한 개방형 인터페이스를 개척해 왔습니다.

이 책은 데이터 거버넌스의 기본을 이해하고, 구현하고, 숙달하기 위한 가이드인 데이터브릭스 Unity 카탈로그입니다. 레거시 시스템을 현대화하든, 데이터 운영을 확장하든, AI를 위한 기반을 구축하든, 여기에 설명된 원칙과 모범 사례는 통합되고 안전하며 미래에 대비한 데이터 플랫폼을 만드는 데 도움이 될 것입니다. 거버넌스를 간소화하고, 투명성을 높이고, 데이터 품질을 개선하고, 데이터 자산의 잠재력을 최대한 활용하는 데 Unity Catalog를 어떻게 활용할 수 있는지 알아보세요.

Unity Catalog를 통해 핵심 데이터 전략 내에서 명확성, 제어 및 협업을 중앙 집중화하는 데이터 거버넌스의 다음 단계로 나아가세요.

마테이 자하리아, CTO 겸 공동 설립자, Databricks