스트리밍 Data Mesh

10장. 실무에서 Data Mesh 스트리밍하기

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이 마지막 장에서는 간단한 스트리밍 데이터 메시의 예를 살펴보면서 이전 장에서 제안한 아이디어를 살펴봅니다. 데이터 도메인(한 주제 영역과 관련된 값의 집합)을 예로 들어 스트리밍 데이터 제품을 구축하는 과정을 살펴보겠습니다.

그림 10-1은 이 장에서 사용할 스트리밍 데이터 메시 예제( )를 보여줍니다. 이 예제의 컨트롤 플레인에는 7장 후반부에 나오는 모든 구성 요소가 포함되어 있지 않습니다. 여기에는 도메인 간에 스트리밍 데이터 제품을 구축, 게시 및 공유하는 데 필요한 구성 요소만 포함되어 있습니다:

• 스키마 레지스트리

• 데이터 계보

• ETL 워크플로우 실행을 위한 에어플로우

• 관리용 CLI가 포함된 데이터 관리 플레인

• 관리 영역으로 데이터를 스트리밍하는 데이터 도메인 내의 구성 요소

그림 10-1에서는 이 사용 사례를 보여드리지 않으므로 Kafka 커넥터 또는 UDF와 같은 라이브러리를 보관하는 리포지토리를 제거했습니다. 또한 Confluent 스키마 레지스트리를 제거하여 Apicurio와 함께 제공되는 스키마 레지스트리로 대체했습니다. Confluent 스키마 레지스트리는 이후 섹션에서 다루게 될 도메인 내에서 작동하게 될 것입니다. 마지막으로 Prometheus와 Grafana를 생략했습니다. 이렇게 하면 로컬 컴퓨터에서 서비스를 실행하는 데 필요한 서비스 수와 리소스가 줄어듭니다.

그림 10-1. JFrog/Artifactory, Prometheus, Grafana를 사용하지 않은 간단한 스트리밍 데이터 메시 예시

스트리밍 데이터 메시 예제

이 책에서 배운 내용을 요약하자면, 스트리밍 데이터 메시란 다음과 같은 데이터 아키텍처입니다:

• 도메인 분야의 제너럴리스트 엔지니어가 데이터 제품을 구축하고 게시할 수 있도록 설계되었습니다.

• 연합 데이터 거버넌스에 의해 제어

• 도메인 대면 셀프 서비스

• 고도로 숙련된 엔지니어가 구현합니다.

시작하려면 예제 10-1의 명령을 실행하여 GitHub에서 로컬로 예제를 복제합니다.

예제 10-1. 간단한 스트리밍 데이터 메시

git clone [e-mail]:hdulay/streaming-data-mesh.git

예시 시나리오에서는 고도로 숙련된 엔지니어가 스트리밍 데이터 메시를 설계하고 구현했습니다. 여기에는 셀프 서비스, 도메인 에이전트, 에어플로우 워크플로우(DAG)가 포함됩니다. 이들은 기본 스트리밍 데이터 메시, 즉 스트리밍 데이터 메시의 최소 요구 사항을 충족하는 기본 스트리밍 데이터 메시를 완성했습니다. 이 시나리오에서 엔지니어는 다음 작업을 수행했습니다.

에서 생산 도메인을 ...