스트리밍 Data Mesh

7장. 스트리밍 데이터 메시 설계하기

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

3장부터 6장까지는 스트리밍 데이터 메시의 기둥에 대해 살펴보았습니다. 이제 그 지식을 활용해 스트리밍 데이터 메시를 설계해 보겠습니다. 이 책의 앞부분에서 언급했듯이, '데이터 메시'의 '메시'라는 용어는 마이크로서비스 아키텍처의 '서비스 메시'라는 용어에서 따온 것입니다. 이러한 유사성을 바탕으로 마이크로서비스 아키텍처의 일부를 설명하는 데 사용되는 것과 동일한 용어를 사용하여 스트리밍 데이터 메시의 각 부분을 설명합니다. 아키텍처의 각 부분을 설명할 것이므로 마이크로서비스 아키텍처에 대한 지식이 전제 조건은 아닙니다. 또한 여러 스트리밍 데이터 메시 솔루션을 고려하고 각 솔루션의 장점과 장단점을 나열할 것입니다. 그 결과 자체 스트리밍 데이터 메시를 구현하는 데 사용할 수 있는 쉽고 명확한 프레임워크가 완성될 것입니다.

인프라

1장의 에서 설명한 바와 같이, 우리는 Kafka로 스트리밍 데이터 메시를 구현할 것입니다. Kafka 사용은 선택 사항이며 Apache Pulsar 또는 Redpanda로 대체할 수 있습니다. 어떤 것을 선택하든 인프라 자체 관리 작업을 포기하기 위해 완전 관리형 서버리스 스트리밍 플랫폼을 사용하는 것이 좋습니다. 마찬가지로 에서도 스트림 처리 엔진으로 ksqlDB를 사용할 것입니다. 또한 완전 관리형 또는 자체 관리형 서비스로도 사용할 수 있습니다. 다음은 완전히 관리되는 몇 가지 옵션입니다:

• 델타스트림

• 팝핑크

• 디코딩 가능

• 구체화

• 라이징웨이브

• Timeplus

Kafka와 ksqlDB는 모두 스트리밍 데이터 파이프라인을 구축하는 기본 방법으로 SQL을 사용하는 스트림 처리 엔진입니다. 다른 옵션도 있을 수 있지만, 이 책을 쓰는 시점에서 이 두 가지 옵션이 가장 눈에 띕니다.

6장에서 도메인을 지원하는 데 필요한 셀프 서비스 및 관련 워크플로에 대해 설명했습니다. 이러한 셀프 서비스 및 워크플로는 완전 관리형 서비스를 사용하든 자체 인프라를 관리하든 모두 동일하게 적용됩니다. 이 장의 뒷부분에서는 이러한 셀프 서비스를 워크플로우로 구현하는 방법에 대한 아이디어를 제공합니다.

두 가지 아키텍처 솔루션

스트리밍 데이터 메시를 설계할 때는 도메인 내의 전용 스트리밍 인프라 또는 각 도메인이 테넌트가 되는 공유 멀티테넌트 인프라(그림 7-1 및 7-2 참조)의 두 가지 옵션이 있습니다.

그림 7-1. 전용 인프라

그림 7-2. 멀티테넌트 인프라

두 다이어그램 ...