Databricks의 Unity Catalog를 통한 데이터 거버넌스

8장. 데이터 공유 및 협업

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

호모 사피엔스가 세상을 지배하는 이유는 대규모로 유연하게 협력할 수 있는 유일한 동물이기 때문입니다.

유발 노아 하라리(사피엔스: 인류의 간략한 역사)

고객과의 수많은 대화에서 Karthik은 한 가지 패턴을 발견하기 시작했습니다. 조직 전반의 의사 결정권자, 특히 여러 지역에 걸쳐 사업을 운영하는 대규모 조직은 데이터 플랫폼에서 데이터를 안전하게 공유하고 협업하는 것이 얼마나 쉬운지라는 특정 기준을 찾는 경향이 있다는 것이죠.

이 패턴에는 두 가지 주요 측면이 있습니다. 하나는 한 명 이상의 소비자를 대상으로 하는 자산을 게시하는 것입니다. 다른 하나는 비즈니스 사용 사례에 대한 협업을 위해 데이터 및 기타 자산을 공유하는 것으로, 이는 팀원들과 소유한 데이터를 공유하는 것처럼 간단하거나 민감한 데이터가 포함된 사용 사례에 대해 여러 지역에 걸쳐 다른 조직과 협업하는 것처럼 복잡할 수 있습니다. 이러한 기능을 제공하는 데이터 플랫폼은 의사 결정권자들이 선호합니다. 대부분의 조직은 과거에 이러한 측면을 고려하지 않아 사일로가 생겨 협업이 부족하고 자산과 노력이 중복된 대가를 치르고 있습니다.

조직이 올바른 방향으로 나아가고 있다는 것은 참으로 다행스러운 일입니다. 그러나 데이터 공유와 협업을 통해 성공으로 가는 길은 특히 보안과 거버넌스 측면에서 어려운 길입니다. 관련 과제에 대해 논의하기 전에 먼저 우리가 사용하는 몇 가지 용어를 명확히 해보겠습니다.

데이터 거 버넌스라는 용어는 AI 거버넌스를 포함하기 위해 확장한 것으로, 데이터, AI 및 기타 관련 자산의 공유를 위해 데이터 공유라는 용어를 사용하고자 합니다. 여기에는 테이블, 뷰, 임의의 파일과 같은 정형 및 비정형 데이터 자산과 모델, 함수, 노트북과 같은 AI 자산이 포함됩니다. 협업이라는 용어는 데이터 공유 기능을 활용하는 여러 조직 또는 조직 간의 사용 사례 관련 노력을 지칭할 때 사용합니다. 데이터 메시 및 데이터 마켓플레이스 아키텍처에서 일반적으로 사용되는 접근 방식인 읽기 전용으로 하나 이상의 소비자에게 도달하려는 의도로 데이터 및 AI 자산을 공유하는 측면을 지칭하기 위해 데이터 퍼블리싱이라는 용어를 사용합니다.

데이터 공유라는 용어를 떠올리면 무엇이 떠오르시나요? Karthik은 데이터 집합을 Excel 파일로 다운로드하여 SFTP 서버에 복사하는 것을 떠올립니다. 여러분도 마찬가지일 것입니다. SFTP는 여전히 데이터를 공유하는 가장 일반적인 방법 중 하나입니다. 하지만 Google Drive, iCloudDrive, OneDrive, Dropbox, WeTransfer 등과 같은 다른 옵션도 있으며, 기술에 정통한 사용자라면 Amazon S3와 CloudFlare R2도 사용할 수 있는 옵션입니다. 일반 개인의 경우라면 정책과 규정 준수 요구사항에 바운디드되어 있고 사용하는 모든 신기술을 평가하고 ...