이벤트 기반 Data Mesh 구축

5장. 셀프 서비스 데이터 플랫폼

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

셀프 서비스 데이터 플랫폼을 사용하면 모든 메시 사용자를 위해 데이터와 데이터 제품을 쉽게 검색, 사용, 게시, 관리 및 보호할 수 있습니다. 이벤트 스트림을 제공하기 위한 이벤트 브로커, 필수 메타데이터 추적을 위한 메타데이터 저장소, 데이터 제품 액세스를 관리하기 위한 액세스 제어 등 이 플랫폼을 만드는 데 필요한 몇 가지 구성 요소를 이미 소개해 드렸습니다. 이 장에서는 미니멀리즘으로 시작하여 이상향으로 끝나는 셀프 서비스 플랫폼의 기능에 대해 살펴보겠습니다.

아직 해결되지 않은 몇 가지 중요한 질문이 있습니다: 잠재 고객은 사용 가능한 데이터 제품을 어떻게 발견할까요? 일단 발견되면, 기존 애플리케이션과 분석에 어떻게 연결할 수 있을까요? 데이터 제품 위에 새로운 애플리케이션을 어떻게 구축할까요? 마찬가지로, 데이터 제품 게시자의 워크플로는 어떤 모습일까요? 데이터 제품을 관리하고 실제로 고객과 어떻게 소통할까요? 셀프 서비스 플랫폼은 이러한 각 질문에 대한 간소화된 솔루션을 제공해야 합니다.

셀프 서비스 데이터 플랫폼은 부분적으로는 조직에서 이미 사용 중인 구성 요소로 구성되어 있고, 부분적으로는 구축하거나 구매해야 하는 구성 요소로 구성되어 있습니다. 예를 들어, 데이터 제품 메타데이터 추적에도 사용할 수 있는 중요한 데이터 집합을 추적하는 메타데이터 카탈로그가 이미 있을 수 있습니다. Docker 이미지를 사용하여 애플리케이션을 배포하고, Kubernetes에서 실행하며, Cloud 기반 모니터링 서비스로 애플리케이션을 모니터링하고 있을 수도 있습니다. 하지만 데이터 메시를 실행하기 위한 스트림 처리 프레임워크, 커넥터 시스템, 워크플로우 표준화가 부족할 수 있습니다. 정확히 어떤 것이 있고 어떤 것이 부족한지는 다른 사람들이 가지고 있는 것과 다를 수 있으므로 핵심적인 요구 사항에 집중하여 작업해야 할 것을 파악하는 것이 가장 좋습니다.

Data Mesh 셀프 서비스 플랫폼의 핵심은 조직에서 사용하는 개별 구성 요소와 하위 플랫폼을 하나로 묶는 글루 코드입니다. 이 플랫폼은 팀, 사람, 서비스에서 사용하는 프로세스를 간소화하여 Data Mesh를 현실로 만듭니다. 이 설명이 다소 무정형적일 수 있다는 것을 알고 있지만, 실제로 모든 조직의 Data Mesh는 이미 사용 중인 기존 시스템, 프로세스, 거버넌스, 사람, 팀, 기술의 영향을 많이 받습니다. 셀프 서비스 플랫폼은 조직마다 고유하지만 이 장에서 다룰 몇 가지 공통 주제인 ID, 검색, 인증, 권한 부여, 관리, 커뮤니케이션 및 계산을 공유할 것입니다.

이 장에서는 데이터 메시 셀프 서비스 플랫폼이 갖추어야 할 모든 중요한 기능에 대해 매우 실용적으로 다룰 것입니다. Data Mesh를 구축할 때 가장 중요한 것은 단기간에 테스트하고, 시도하고, 효과가 있는 것과 그렇지 않은 것을 반복하여 얻는 이점을 ...