이벤트 기반 Data Mesh 구축

6장. 이벤트 스키마

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

잘 정의된 스키마는 모든 데이터 제품에 필수적입니다. 이벤트의 경우 스키마는 필드 이름, 유형, 기본값, 경계에 대한 명시적인 선언으로 구성되어 사람과 기계 모두 데이터의 내용을 명확하게 파악할 수 있습니다. 스키마는 데이터 제품 생산자와 소비자 모두에게 데이터에 대한 명확하고 공통된 이해( )를 제공합니다. 스키마는 모호함을 없애고, 검색과 셀프 서비스를 모두 지원하며, 데이터를 사용하는 사람들이 데이터를 오해할 위험을 줄여줍니다.

스키마는 데이터 검색과 셀프 서비스를 간소화합니다. 스키마 자체에 문서를 포함시켜 데이터 정의와 문서를 긴밀하게 연결할 수 있습니다. 코드 생성기는 스키마와 함께 소비자가 선택한 프로그래밍 언어( )에 적합한 클래스 및 객체를 생성할 수 있습니다. 마찬가지로 이벤트 생성기는 스키마를 사용하여 정의와 일치하는 이벤트를 생성함으로써 경계 조건에 대한 광범위한 테스트 데이터를 생성하는 메커니즘을 제공할 수 있습니다.

스키마는 시간이 지남에 따라 데이터를 진화시킬 수 있는 프레임워크를 제공하지만, 스키마 진화를 위한 옵션은 선택한 기술에 따라 달라집니다. 스키마 진화를 사용하는 주요 목표는 새로운 비즈니스 요구 사항이 추가되고 도메인이 이동 및 확장됨에 따라 데이터 제품 소비자에게 과도한 영향을 주지 않으면서 데이터를 업데이트하고 변경하는 것입니다.

이 장에서는 이벤트 기반 데이터 메시를 위한 스키마에 대해 규범적이고 주관적으로 살펴봅니다. 이벤트를 통해 시스템 간에 데이터를 통신하는 데는 다양한 스키마 기술과 다양한 방법이 있습니다. 그러나 일부 방법과 기술은 다른 방법과 기술보다 더 일반적이고 유연하며 대부분의 비즈니스에서 이벤트를 사용하고 전달하는 방식을 반영하는 등 더 나은 방법과 기술이 있습니다.

스키마에 대해 너무 깊이 들어가기 전에 한 걸음 물러나서 스키마가 데이터 제품을 통해 중요한 비즈니스 데이터를 제공하는 것과 어떤 관련이 있는지 더 잘 파악해 보겠습니다. 이를 위해 이벤트가 어떻게 생성되고, 직렬화되고, 네트워크를 통해 이벤트 스트림에 저장되도록 전송되는지 살펴볼 필요가 있습니다. 또한 이벤트 스트림에서 이벤트가 소비되고 역직렬화되어 소비자가 처리하는 이 프로세스의 역방향도 살펴볼 것입니다.

직렬화 및 역직렬화에 대한 간략한 소개

직렬화는 잘 정의된 스키마가 있는 이벤트 객체를 가져와 바이트 시퀀스로 변환하는 작업입니다. 생산자의 메모리에 있는 표현은 네트워크를 통해 쉽게 전송되고 이벤트 스트림에 기록될 수 있도록 바이트 시퀀스로 직렬화(변환)됩니다. 스키마는 데이터를 바이트 시퀀스로 변환할 수 있도록 하기 위한 제약 조건을 제공합니다. 예를 들어, length 라는 필드가 Integer 이어야 한다고 지정하는 스키마는 length 를 String 값 "six feet" 으로 설정하여 직렬화를 시도할 때 예외를 발생시킵니다.

그림 6-1은 ...