이벤트 기반 Data Mesh 구축

2장. Data Mesh

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

제가 자주 들었던 유용한 엘리베이터 피치에서 Data Mesh를 "데이터를 위한 마이크로 서비스"라고 언급했는데, 동일한 원리를 서비스 대신 데이터에 적용하는 것입니다. 마이크로서비스를 사용하는 조직은 API, SLA, 도메인 소유자, 보안 정보, 액세스제어 등 사용 가능한 서비스와 기타 조직별 정보를 조회할 수 있는 카탈로그를 갖게 됩니다. 마이크로서비스 카탈로그에서는 새로운 비즈니스 애플리케이션을 연결하는 데 사용할 수 있는 기능에 대한 보기를 제공합니다.

마이크로서비스와 Data Mesh 세계 모두에서 공통 인프라 서비스(예: Git, Kubernetes, 컨테이너, 지속적인 통합, 모니터링)는 인프라와 플랫폼에서 길을 잃지 않고 유용한 비즈니스 서비스 구축에 집중할 수 있는 셀프 서비스 도구를 제공합니다. Data Mesh는마이크로서비스 아키텍처와 직접적으로 유사하지만 서비스가 아닌 데이터 집합을 사용합니다.

잘 구축된 데이터 메시의 이점은 다음과 같습니다:

• 신뢰할 수 있고 믿을 수 있는 데이터를 발견하여 더 저렴하고 빠르게 활용할 수 있습니다.

• 새 데이터 원본을 더 쉽게 게시하여 다른 사람들이 빠르고 쉽게 사용할 수 있도록 합니다.

• 전담 리소스, 명확하게 정의된 책임, SLA, 제품 릴리스 주기 등 다른 미션 크리티컬 제품과 마찬가지로 데이터를 최고급 제품으로 취급합니다.

• 불안정하고 취약하며 비용이 많이 드는 데이터 파이프라인과 ETL을 줄이고 궁극적으로 제거할 수 있습니다.

• 이벤트 스트림을 단일 데이터 소스로 사용하여 분석과 운영 시스템 간의 데이터 불일치를 제거합니다.

Data Mesh는 네 가지 상호 연관된 원칙에 의존합니다. 이러한 각원칙을 간략하게 살펴보고 이벤트 기반 데이터의 역할에 대해 알아보겠습니다. 다음 장에서는 이러한 원칙과 원칙 간의 관계, 그리고 이벤트 스트림으로 구동되는 데이터 메시를 구축하기 위한 세부 사항에 대해 자세히 살펴볼 것입니다.

원칙 1: 도메인 소유권

도메인 소유권은 도메인을 변경하거나 수정하기 위해 다른 사람의 승인이나 허가를 구할 필요 없이 자신의 도메인에 대한 주권을 행사하는 것입니다. 이원칙은 "이 데이터 집합의 소유자는 누구인가?"라는 질문에 "도메인 소유자"라고 명확하게 답할 수 있도록 합니다. 그러나 전체 소유권에는 도메인 경계 외부의 사람들이 사용하기에 적합한 모드로 내부 도메인 데이터를 내보내야 하는 중요한 책임이 수반됩니다.

데이터 메시에서는 해당 데이터의 소유자가 데이터를 쉽게 사용할 수 있도록 할 책임이 있으므로, 데이터의 잠재적 사용자가 데이터에 액세스할 수 있는 방법을 알아내는 것은 더 이상 사용자의 몫이 아닙니다. 우선, 소스 데이터를 소유한 팀이 모델의 어떤 부분을 다운스트림 소비자에게 노출해야 하는지(노출하지 말아야 하는지) 결정할 수 있는 가장 좋은 자격을 갖추게 됩니다. 둘째, ...