이벤트 기반 Data Mesh 구축

서문

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

Data Mesh는 데이터를 생각하고, 생성하고, 공유하고, 사용하는 방식에 근본적인 변화를 가져왔습니다. 데이터를 신중하게 큐레이션하고 데이터 상품으로 만들어 다른 비즈니스 상품과 동일한 수준의 주의와 노력을 기울여 지원함으로써 데이터를 일류 시민에게 홍보합니다. 소비자는 자신의 사용 사례에 필요한 데이터 제품을 발견하고 선택할 수 있으며, 데이터 제품 생산자의 유지 관리 및 지원에 대한 약속에 의존할 수 있습니다. Data Mesh의 핵심은 사회적 계약, 책임, 기대치를 재협상하는 것만큼이나 기술적인 재구성에 관한 것입니다.

제가 ' 이벤트 기반 마이크로서비스 구축 (O'Reilly)'을 집필할 때 데이터 메시와 매우 유사하지만 잘 정의되지 않은 데이터 통신 계층에 대해 언급했습니다(그리고 약간 모호하게 정의하기도 했죠). 데이터 통신 계층의 원칙은 데이터를 1급 시민으로 취급하고, 데이터를 신뢰할 수 있고 신뢰할 수 있게 만들고, 이벤트 스트림을 통해 데이터를 생성하여 운영 및 분석 애플리케이션을 모두 지원할 수 있도록 하는 간단한 것이었습니다.

Data Mesh의 장점은 우리가 데이터에 대해 알고 있는 모든 것을 빅뱅식으로 전면 수정하는 것이 아니라는 점입니다. 오히려 수많은 사람들의 집단적인 노력과 경험을 바탕으로 사회적, 기술적 모범 사례를 확인하는 것입니다. 데이터의 생성, 전달, 사용 방법을 논의하는 데 필요한 프레임워크를 제공하며, 데이터 세계의 공용어 역할을 합니다.

Zhamak Dehghani는 데이터 메시를 세상에 알리는 데 경이로운 업적을 남겼습니다. 저는 2019년에 마틴 파울러의 블로그에 올라온 그녀의 첫 번째 글을 읽고 깜짝 놀랐던 기억이 납니다. 그녀는 당시 우리 팀이 직면하고 있던 문제를 매우 설득력 있게 설명했고, 해결책을 찾기 위해 채택해야 할 원칙을 파악했습니다. 그녀의 작업은 데이터를 안정적이고 쉽게 공유하고 사용할 수 있도록 잘 정의된 데이터 통신 계층이 필요하다는 제 생각에 큰 영향을 주었습니다. Dehghani의 Data Mesh는 바로 더 나은 데이터 세상을 구축하는 데 필요한 소셜 기술 프레임워크입니다.

비즈니스 기회는 가장 느린 데이터 소스만큼만 빠르게 해결할 수 있기 때문에 이벤트와 이벤트 스트림은 데이터 메시에서 중요한 역할을 합니다. 월별 판매 보고서 작성과 같은 일반적인 분석 사용 사례는 하루에 한 번만 업데이트되는 데이터 제품으로도 만족할 수 있습니다. 그러나 판매 이행, 재고 계산, 신속한 배송 보장 등 가장 중요한 비즈니스 사용 사례 중 상당수는 실시간 데이터가 필요합니다. 이벤트 기반 데이터 메시는 운영 및 분석 사용 사례를 모두 실시간 및 일괄 처리할 수 있는 기능을 제공합니다.

데이터 메시를 도입하면 진정한 가치를 얻을 수 있습니다. 조직 전체에서 데이터의 검색, 소비, 처리 및 적용을 간소화할 수 있습니다. 그러나 Data Mesh의 ...