데이터 및 머신러닝 플랫폼 아키텍처 설계

6장. 엔터프라이즈 데이터 웨어하우스로 혁신하기

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

3장에서는 Cloud 데이터 플랫폼의 중심 구성 요소로 데이터 레이크와 데이터 웨어하우스( ) 중 어떤 것을 선택할지는 조직이 엔지니어링/과학 우선(데이터 레이크 선택) 또는 분석 우선(DWH 선택)인지 여부에 따라 결정된다는 것을 배웠습니다. 5장에서는 데이터 플랫폼 설계의 중심 요소인 데이터 레이크의 개념에 대해 집중적으로 살펴보았습니다. 이 장에서는 대신 최신 데이터 웨어하우스를 중심 요소로 사용하여 동일한 비용, 민주화, 유연성 및 거버넌스 문제를 해결하는 방법에 대해 알아봅니다.

먼저 데이터 플랫폼 구축으로 해결해야 할 문제를 간단히 요약하고, Cloud DWH를 매력적인 솔루션으로 만드는 기술 동향에 대해 논의합니다. 그런 다음 최신 DWH 아키텍처의 모습과 이를 통해 데이터 분석가와 데이터 과학자를 효과적으로 지원할 수 있는 방법에 대해 자세히 살펴볼 것입니다.

최신 데이터 플랫폼

대규모 기술 프로젝트를 수행할 때마다 먼저 달성하고자 하는 비즈니스 목표가 무엇인지, 현재 기술 과제는 무엇인지, 어떤 기술 트렌드를 활용하고 싶은지 자문해 보아야 합니다. 이 섹션에서는 최신 데이터 플랫폼을 구축할 때 이러한 질문을 해결하는 방법과 엔터프라이즈 DWH 접근 방식이 데이터 플랫폼 설계의 초점을 어떻게 조정할 수 있는지 이해하는 데 중점을 두겠습니다. 이러한 개념의 대부분은 이전 장에서 이미 다루었지만, 최신 DWH의 설계를 아키텍처가 해결하려는 문제와 연결하는 데 도움이 되므로 여기서 다시 정리하는 것이 유용합니다.

조직 목표

고객 인터뷰에서 CTO들은 이러한 조직의 목표가 중요하다고 반복해서 언급했습니다:

사일로 없음

비즈니스의 한 부서의 사용자는 다른 부서에서 생성한 데이터에 액세스해야 하므로 기업 전체에서 데이터를 활성화해야 합니다. 예를 들어, 내년도 제품 설계 방법을 결정하는 제품 관리자는 리테일 운영팀에서 생성하고 관리하는 거래 데이터에 액세스해야 할 수 있습니다.

민주화

데이터 플랫폼 은 기술적 중개자를 거치지 않고 데이터에 액세스할 수 있지만 데이터의 품질과 일관성을 신뢰할 수 있어야 하는 도메인 전문가 및 기타 비기술적 사용자를 지원해야 합니다.

검색 가능성

데이터 플랫폼( )은 다양한 처리 단계에서 데이터에 액세스해야 하는 데이터 엔지니어 및 기타 기술 사용자를 지원해야 합니다. 예를 들어, 들어오는 원시 트랜잭션이 조정된 데이터 집합이 있는 경우, 데이터 과학자는 조정된 데이터 집합을 얻을 수 있어야 합니다. 이를 발견하지 못하면 조정 루틴을 다시 구축해야 합니다. 따라서 이러한 모든 '중간' 데이터 집합을 발견할 수 있어야 처리 단계가 조직 전체에서 중복되지 않습니다.

스튜어드십

데이터 집합은 해당 데이터 집합이 무엇인지 이해하는 팀( )에서 관리해야 합니다. 예를 들어 재무 데이터는 IT 부서가 아닌 재무 부서에서 ...