May 2025
Beginner to intermediate
226 pages
3h 39m
Korean
Content preview from 스트리밍 Data Mesh
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
2장. 스트리밍 데이터 메시 소개
이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: translation-feedback@oreilly.com
1장에서는 데이터 메시 아키텍처의 네 가지 기둥을 모두 소개하고 요약했습니다. 이제 소개한 지식을 스트리밍 데이터 메시에 적용해 보겠습니다. 간단히 말해, 스트리밍 데이터 메시는 스트림으로 구현된 데이터 메시(모든 기둥이 충족된 상태)입니다. 다시 말해, 소스에서 데이터를 수집한 후에는 데이터가 소비 도메인에 도달하기 전에 데이터 저장소에 저장되는 지점이 없습니다. 데이터 제품은 보존 기간이 만료될 때까지 스트림에 보관됩니다.
데이터 제품을 스트림으로 유지하려면 Data Mesh에서 사용할 수 있는 모든 셀프 서비스 도구와 서비스가 필요합니다. 간단한 ETL 프로세스를 생각해 보겠습니다. 소스에서 데이터를 추출하는 구성 요소는 데이터를 스트림에서 움직이도록 설정해야 합니다. 다음으로, 데이터를 변환하는 엔진은 스트림에서 데이터를 변환해야 합니다. 마지막으로, 데이터 제품을 게시하는 구성 요소는 스트리밍 데이터 제품에 대한 연합된 전산 데이터 거버넌스를 따르면서 소비자가 데이터 제품을 자신의 도메인으로 쉽게 스트리밍할 수 있도록 통합을 지원해야 합니다. 표 2-1은 네 가지 데이터 메시 기둥을 보여주고 스트리밍 설정에서 어떤 일이 일어나는지 설명합니다.
| 스트리밍 데이터 메시 기둥 | 설명 |
|---|---|
데이터 소유권(도메인 소유권) |
도메인은 데이터 제품을 스트림으로 설정합니다. |
상품으로서의 데이터(데이터 제품) |
도메인은 데이터를 검색 가능하고 신뢰할 수 있는 고품질 스트리밍 데이터 상품으로 변환하는 역할을 담당합니다. |
셀프 서비스 데이터 플랫폼(셀프 서비스) |
셀프 서비스 데이터 플랫폼을 통해 도메인은 자율성을 유지하면서 소스에서 소비하는 도메인으로 데이터를 스트리밍할 수 있습니다. |
연합 전산 데이터 거버넌스(스트리밍 데이터 거버넌스) |
스트리밍 데이터에 대한 글로벌 표준화를 통해 탈중앙화, 도메인 자치권, 상호 운용성을 포용하는 스트리밍 데이터 거버넌스 모델입니다. |
참고
일관성을 위해 데이터 소유권은 도메인 소유권으로, 제품으로서의 데이터는 데이터 제품으로, 셀프 서비스 데이터 플랫폼은 셀프 서비스로, 연합된 전산 데이터 거버넌스는 단순히 데이터 거버넌스로 지칭하겠습니다. 이 모든 용어는 움직이는 데이터라고도 하는 스트리밍 데이터를 의미한다고 가정하겠습니다.
이 장에서는 데이터 메시를 구현할 때 일괄 처리보다 스트림 처리가 갖는 장점에 대해 설명합니다. 또한 카파 아키텍처와 이 아키텍처가 이러한 장점을 어떻게 구현하는지 소개합니다.
스트리밍의 이점
스트리밍 데이터 메시( )는 일괄 처리에 비해 몇 가지 장점이 있지만, 일반적으로 첫 사용 사례를 구축할 때까지는 그 장점이 잘 드러나지 않습니다. 이러한 장점은 기술적 구현과 비즈니스 결과 모두에 존재합니다.