데이터 메시

3장

제품으로서의 데이터 원칙

 

 

 

 

 

분석 데이터 아키텍처는 오래 전부터 양질의 데이터를 검색하고, 이해하고, 신뢰하고, 탐색하고, 궁극적으로 소비하는 과정에서 시간적 비용과 물질적 비용이 많이 발생한다는 문제가 있었습니다. 그중 시간적 비용에 대해 수많은 설문조사를 진행했습니다. 데이터 사이언스 플랫폼 기업인 아나콘다^Anaconda의 ‘The State of Data Science 2020’¹ 보고서에 따르면, 데이터 과학자들은 데이터에서 가치를 창출할 때까지 거의 절반의 시간을 데이터를 준비하는 데 소요한다고 합니다. 데이터를 준비(로딩 및 클렌징)하는 데 발생하는 시간을 줄이지 않으면 데이터를 제공하는 팀, 즉 도메인의 수가 증가함에 따라 데이터를 관리하는 비용이 더욱 많이 발생할 수밖에 없습니다. 데이터 메시의 첫 번째 원칙, 데이터의 도메인 오너십^{domain-oriented ownership} 원칙에 의해 조직의 데이터 오너십을 각 도메인으로 분배하는데, 그 과정에서 접근성, 사용성, 조화와 관련된 중요한 관심사(문제점)가 발생합니다. 이러한 관심사는 결국 도메인 간 데이터 사일로와 데이터 사용성의 퇴행과 같이 잠재적으로 바람직하지 않은 결과를 낳을 수 있습니다. 이는 제품으로서의 데이터^{data as a product} 의 원칙