1장에서는 레이크하우스 패러다임을 소개하고, 데이터브릭스 플랫폼이 어떻게 데이터를 Cloud 객체 스토리지에 저장하고 효율적인 쿼리 및 ACID 속성을 위한 최적화 계층을 제공하는지 설명했습니다. 3장에서는 ID 관리 개념을 살펴보고 액세스 관리에 대해 다루었습니다. 이 장에서는 Unity Catalog가 데이터와 AI 자산을 보호하는 방법, 다양한 접근 제어 메커니즘, 권한 모델, 확장 가능한 데이터 아키텍처를 설계하는 방법에 대해 설명합니다. 또한 다양한 거버넌스 모델과 가상의 조직인 Nexa Boutique가 Unity Catalog를 활용하여 중앙 집중식 정책을 갖춘 연합 거버넌스 모델을 설계한 방법에 대해 설명합니다.
액세스 관리
3장에서는 작업 공간 및 Unity 카탈로그 보안에 대해 간략하게 언급했습니다. 작업 공간 보안에 대한 액세스 제어는 작업 공간 수준에서 적용되고, Unity 카탈로그 보안에 대한 액세스 제어는 Unity 카탈로그 메타스토어 수준에서 적용됩니다. 이는 그림 5-1에 나와 있습니다.
그림 5-1. Databricks 작업 공간 및 Unity 카탈로그 보안 가능 항목에 대한 액세스 제어
액세스 관리 관점에서 보면 Databricks 작업 공간은 프로젝트와 컴퓨팅 레이어의 조합으로 생각할 수 있습니다. 프로젝트별 자산을 개발할 수 있는 노트북, 쿼리, 작업, 대시보드, MLflow 실험과 같은 작업 공간 보안은 프로젝트 계층을 구성합니다. 워크로드에 컴퓨팅을 제공하는 클러스터, SQL 웨어하우스, 풀, 클러스터 정책, 모델 서비스 엔드포인트, 벡터 검색 엔드포인트 등은 컴퓨팅 레이어를 구성합니다. Unity Catalog는 데이터 계층을 다룹니다. 주로 Cloud 오브젝트 스토리지에 저장된 데이터와 AI 에셋에 대한 액세스를 제어합니다. 또한 다른 데이터베이스, 데이터 웨어하우스, 데이터 카탈로그를 연결하고 데이터브릭에서 액세스할 때 이러한 데이터 저장소 내의 에셋에 대한 액세스를 제어할 수 있습니다. 그림 5-2는 Databricks 워크스페이스, Unity 카탈로그 및 데이터 레이어의 위치를 보여줍니다.
그림 5-2. Databricks 작업 공간, Unity 카탈로그 및 데이터 계층의 위치 지정
분석가가 데이터브릭스의 테이블을 쿼리하려는 간단한 예를 들어보면, 먼저 관리자가 액세스 권한을 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
