Databricks의 Unity Catalog를 통한 데이터 거버넌스

1장. 최신 거버넌스 스택

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

데이터는 새로운 석유입니다.

클라이브 험비

이 장에서는 에서 데이터 거버넌스에 대한 소개와 데이터 거버넌스가 중요한 이유를 설명합니다. 데이터 거버넌스 전반에 이미 익숙하고 분석 영역에서 데이터 거버넌스가 정말 중요하다고 확신하는 경우, '레이크하우스의 여명'으로 건너뛰어도 됩니다. 레이크하우스 패러다임과 데이터브릭스 플랫폼에 이미 익숙하다면 '데이터브릭스 Unity 카탈로그'로 바로 넘어가셔도 됩니다 : 통합 거버넌스 구현"을 읽어보세요.

데이터 거버넌스 소개

2021년 10월 28일, SafetyDetectives의 사이버 보안팀( )은 백만 개가 넘는 파일이 들어 있는 보안되지 않은 Amazon S3 버킷을 발견했습니다. 무엇보다도 이 버킷의 콘텐츠에는 직원들의 개인 식별 정보(PII)와 콜롬비아와 페루의 일부 공항에 대한 민감한 회사 데이터가 포함되어 있었습니다. 버킷의 내용은 2018년 11월까지 거슬러 올라갔지만, 버킷이 얼마나 오랫동안 공개적으로 노출되어 있었는지는 아무도 알지 못했습니다. S3 버킷은 스웨덴 스톡홀름에 본사를 두고 전 세계에 지사를 두고 있는 유명 보안 서비스 회사인 Securitas의 소유였습니다.

이 사건은 단발성 사건이 아니었습니다. 2019년 7월, Capital One은 Cloud 방화벽 구성 취약점으로 인해 1억 건 이상의 고객 기록이 유출되는 데이터 유출 사고를 겪었습니다. 2022년 3월에는 Amazon S3 버킷 구성 오류와 관련된 또 다른 사고로 인해 상당한 양의 민감한 데이터가 노출되었습니다. 노출된 데이터는 터키의 여러 공항에 기지를 두고 있는 터키의 저가 항공사인 페가수스 항공의 것이었습니다. 데이터 노출은 사람의 실수로 인한 것이라고 합니다. 약 2,300만 개의 파일이 포함된 이 데이터가 잘못된 사람의 손에 들어갔다면 수천 명의 승객과 승무원이 영향을 받았을 것입니다. 예를 들어, 이러한 개인 정보는 신원 도용 및 금융 사기에 사용될 수 있습니다. 또한 개인정보 노출은 터키의 개인정보 보호법(LPPD)을 위반한 것으로 벌금이 부과될 수 있습니다.

안타깝게도 이러한 사건은 드물지 않게 발생합니다. 여러 연구에 따르면 사이버 보안 사고의 주요 원인은 '사람의 실수'인 것으로 나타났습니다. 2022년에 발표된 Verizon의 데이터 침해 조사 보고서에 따르면 침해 사고의 82%가 인적 요소와 관련이 있는 것으로 나타났습니다. Gartner는 가까운 미래에 인재 부족 또는 사람의 실수가 중대한 사이버 사고의 절반 이상을 차지할 것으로 예측합니다.

이러한 추세를 고려할 때 우리는 사람 중심의 접근 방식으로 보안 프로세스와 관행을 개선해야 합니다. 즉, 사람은 실수를 할 수밖에 없으므로 실수를 훨씬 더 어렵게 만들고 불가피하게 실수가 발생했을 때 그 영향을 최소화할 수 있는 안전장치를 마련해야 합니다. 이를 위해서는 보안 ...