스트리밍 Data Mesh

9장. 기능 상점

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

앞서 언급했듯이, ETL 프로세스는 운영 데이터 저장소(비즈니스에 서비스를 제공하는 애플리케이션을 구동하는)에서 데이터를 가져와 분석 데이터 플레인으로 데이터를 공급합니다. 분석 영역은 인사이트를 도출하는 통계 모델을 구축하는 데 사용되며, 비즈니스는 이를 통해 중요한 의사 결정을 내립니다. 이러한 결정은 운영 영역으로 피드백되어 성능을 개선 및 최적화하고 궁극적으로 수익을 증대시킵니다. Data Mesh에서 데이터 제품의 원칙 중 하나는 분석 팀에 고품질의 신뢰할 수 있는 데이터를 제공하는 것입니다. 품질과 신뢰성은 분석 결과에 대한 신뢰를 구축하는 데 도움이 됩니다.

특징 또는 열은 분석에 사용할 수 있는 키, 너비, 나이, 무게, 금액 및 가격과 같은 측정 가능한 데이터 조각입니다. 피처 엔지니어링은 분석 처리를 위해 데이터를 추출하고 준비하여 피처 스토어에 저장하는 프로세스입니다. 피처 스토어 는 준비된 분석 데이터를 데이터 과학자에게 제공합니다. 피처 스토어가 등장하기 전에는 데이터 과학자와 엔지니어가 함께 인사이트를 구축할 때 매우 무질서하고 체계적이지 않은 방식으로 작업했습니다. 데이터는 찾기 어렵고 깨끗하지 않은 경우가 많았습니다. 데이터의 최신성을 알 수 없었고, 출처가 의심스러운 경우가 많았으며, 데이터 거버넌스 준수 여부가 불분명했습니다. 이로 인해 이러한 데이터에서 도출된 인사이트는 신뢰도가 떨어지고 확실성이 떨어지며 반복하기 어려웠습니다. 이는 모놀리식 데이터 레이크 또는 웨어하우스 내에서 작업할 때 나타나는 문제 중 일부에 불과합니다.

데이터 과학자는 준비된 분석 데이터에 액세스할 수 있는 더 나은 방법이 필요했고, 데이터 엔지니어는 데이터 과학자를 위해 데이터를 반복적으로 준비할 수 있는 방법이 필요했습니다. 기능 저장소와 기능 엔지니어링은 분석 데이터를 소싱하는 프로세스에 체계적인 접근 방식을 도입했습니다. 모델 실행과 실험을 반복하기 위해 데이터 집합을 만들어야 하는 책임도 데이터 엔지니어에게 주어졌고, 이를 위해 과거 분석 데이터를 캡처하고 저장할 수 있는 프레임워크가 필요했습니다.

피처 스토어는 데이터 카탈로그와 유사한 피처 카탈로그에 데이터를 등록합니다. 피처 스토어는 추론에 사용되는 분석 데이터에 신뢰성과 확신을 주는 데 필요한 메타데이터를 제공합니다. 피처 스토어가 게시된 데이터 제품과 함께 제공되는 메타데이터를 획득할 수 있도록 함으로써 Data Mesh가 피처 엔지니어링에 자연스럽게 들어맞는 곳이 바로 이 곳입니다. 또한 피처는 데이터 제품과 함께 제공되는 전체 데이터 계보와 설명서를 자동으로 상속합니다. 피처 스토어는 데이터 엔지니어와 데이터 과학자를 분리하고 각자가 작업할 수 있는 더 나은 프레임워크와 API를 만듭니다.

이 장에서는 온라인 및 오프라인 데이터 저장소, Apache Feast(그리고 이 프레임워크를 확장하여 스트리밍 데이터 ...