이벤트 기반 Data Mesh 구축

1장. 이벤트 기반 데이터 통신

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

기업이 데이터와 관계를 맺는 방식이 빠르게 변화하고 있습니다. 기업의 모든 데이터가 하나의 관계형 데이터베이스에 깔끔하게 들어맞던 시대는 지났습니다. 20여 년 전에 시작된 빅 데이터 혁명은 그 이후로 진화해 왔으며, 더 이상 일괄 분석을 위해 방대한 데이터 세트를 빅 데이터 레이크에 저장하는 것만으로는 충분하지 않습니다. 속도와 상호 연결성이 차세대 주요 경쟁 비즈니스 요구 사항으로 부상하면서 기업이 중요한 데이터를 생성, 저장, 액세스 및 공유하는 방식이 다시 한 번 변화하고 있습니다.

데이터는 비즈니스의 생명선입니다. 하지만 기업이 데이터를 생성, 공유, 사용하는 많은 방식이 우연적이고 단절되어 있습니다. Data Mesh는 이러한 역기능적인 관계를 재검토하고 조직 전체에서 데이터를 사고, 구축, 공유하는 새로운 방법을 제공하여 고객에게 더 나은 서비스, 오류 없는 보고, 실행 가능한 인사이트, 진정한 데이터 기반 프로세스 구현 등 유용하고 유용한 일을 할 수 있도록 포괄적인 프레임워크를 제공합니다.

우리가 해결하고자 하는 문제를 이해하려면 먼저 현대 비즈니스가 직면한 주요 데이터 문제에 대한 아이디어가 필요합니다.

첫째, 기업의 비즈니스 분석 엔진의 기반이 되는 빅데이터 시스템의 규모와 복잡성이 폭발적으로 증가했습니다. 이러한 복잡성을 해결하고 줄이기 위한 많은 시도가 있었지만 모두 실패로 돌아갔습니다.

둘째, 대기업의 비즈니스 운영은 단일 모놀리식 배포로 지원되던 시기를 지나고 있습니다. 마이크로서비스 및 서비스 지향 아키텍처를 포함한 멀티서비스 배포가 일반적입니다. 특히 많은 개별 운영 및 분석 시스템이 동일한 데이터 세트에 대한 읽기 전용 액세스에 의존하는 경우, 이러한 모듈식 시스템의 경계는 쉽게 정의되지 않습니다. 한편으로는 비즈니스 기능을 단일 애플리케이션에 배치하면 해당 시스템에서 생성되고 저장된 모든 데이터에 일관되게 액세스할 수 있습니다. 반면에 이러한 비즈니스 기능은 중요한 비즈니스 데이터에 대한 공통의 읽기 전용 액세스가 필요하다는 점을 제외하면 서로 전혀 관련이 없을 수도 있습니다.

셋째, 운영 및 분석 영역 모두에 공통적으로 나타나는 문제: 잘 문서화되고, 자동 업데이트되며, 신뢰할 수 있는 고품질의 데이터에 액세스할 수 없다는 점입니다. 조직에서 처리하는 데이터의 양이 매년 크게 증가함에 따라 데이터를 분류, 저장 및 사용하는 더 나은 방법에 대한 필요성이 커지고 있습니다. 이러한 압박은 모든 것을 단일 데이터베이스에 보관하려는 이상에 최종적인 타격을 가하고 개발자는 모놀리식 애플리케이션을 자체 데이터베이스를 사용하여 별도의 배포로 분할해야 합니다. 한편, 빅데이터 팀은 자체 데이터 확보에 대한 책임이 전적으로 개발자에게 있기 때문에 이러한 운영 시스템의 파편화와 리팩터링을 따라잡는 데 어려움을 겪고 있습니다.

데이터는 역사적으로 비즈니스 ...