스트리밍 Data Mesh

4장. 스트리밍 데이터 제품

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

스트리밍 데이터 메시에서는 도메인이 데이터를 소유합니다. 이렇게 하면 분산형 데이터 플랫폼이 생성되어 데이터 레이크와 웨어하우스의 Agile 및 확장성과 관련된 문제를 해결하는 데 도움이 됩니다. 이제 도메인은 자신의 데이터를 다른 도메인에 제공해야 합니다. 따라서 데이터를 높은 품질과 신뢰를 갖춘 상품으로 취급하는 것이 중요합니다.

현재 데이터 엔지니어들은 모든 데이터가 데이터 레이크나 웨어하우스와 같은 중앙 데이터 저장소에 있다는 생각에 매우 익숙합니다. 그들은 데이터로 작업할 때 '바다를 끓이는'(이 경우에는 호수) 방법을 찾는 데 익숙합니다. 스트리밍 데이터 메시를 사용하면 이러한 아이디어를 증발시킬 수 있습니다. 이 장에서는 스트리밍 데이터 제품에 대한 요구 사항을 간략하게 설명하겠습니다.

데이터 엔지니어로 일하면서 대규모 데이터 처리를 위해 널리 사용되는 분석 엔진인 Apache Spark의 래퍼를 많이 작성했습니다. 지난 몇 년이 지나서야 기업들이 왜 우리에게 이 작업을 요청했는지 완전히 이해하게 되었습니다.

빅데이터 문제를 해결해야 하는 많은 엔지니어들이 Apache Spark, Apache Flink, Apache Kafka Streams와 같은 빅데이터 도구( )에 접근하기 어려웠습니다. 1장으로 돌아가서, 데이터 엔지니어의 단일화된 역할을 해체하는 것은 데이터 메시의 부작용입니다.

이 는 매우 중요한 포인트입니다. 왜냐하면 두 번째 부수적인 효과는 일반 엔지니어들이 빅데이터 문제를 해결할 수 있도록 Spark, Flink, Kafka Streams와 같은 복잡한 데이터 엔지니어링 도구에 더 쉽게 접근할 수 있도록 하는 것이기 때문입니다. 이러한 기업들이 대규모 데이터 처리 엔진의 래핑을 요청하는 이유도 바로 여기에 있습니다. 표 4-1은 특정 엔지니어가 데이터 레이크에 저장된 빅 데이터를 쿼리하는 데 도움을 주기 위해 우리가 참여한 프로젝트의 목록을 보여줍니다.

표 4-1. Apache Spark 래퍼 프로젝트와 각 프로젝트가 지원하는 엔지니어

프로젝트	엔지니어
Big Data Integrator - 드래그 앤 드롭 기능을 갖춘 Apache Spark UI 래퍼	비즈니스 인텔리전스 도구에서 보고서를 제공하기 위해 데이터를 처리해야 하는 통합 엔지니어와 비즈니스 분석가.
Sparknado - Airflow 구문을 사용하여 Spark DAG를 빌드하는 Apache Spark 래퍼	Airflow 엔지니어는 Spark 애플리케이션을 구축하여 데이터를 Snowflake로 이동합니다.
Apache Envelope-YAML 기반 Spark 구성	Python이나 Scala로 코딩하는 방법을 몰라도 Spark DAG를 정의하려는 엔지니어.
Splunk 검색 언어(SPL)와 유사한 파이프 구문인 Splunk SPL to Spark	데이터 레이크에 저장된 ...