견고한 데이터 엔지니어링

CHAPTER 3

                 

우수한 데이터 아키텍처 설계

 

 

 

 

 

우수한 데이터 아키텍처는 데이터 수명 주기의 모든 단계와 드러나지 않는 요소 전반에 걸쳐 매끄러운^seamless 기능을 제공한다. 3장에서는 먼저 데이터 아키텍처^{data architecture}를 정의하고 컴포넌트와 고려 사항을 설명한다. 그다음에는 특정 배치 패턴(데이터 웨어하우스, 데이터 레이크), 스트리밍 패턴, 배치와 스트리밍을 통합하는 패턴을 설명한다. 전반적으로 클라우드 기능을 활용해 확장성^scalability, 가용성^availability과 신뢰성^reliability을 제공할 것을 강조한다.

 

 

3.1 데이터 아키텍처란?

 

성공적인 데이터 엔지니어링은 견고한 데이터 아키텍처를 기반으로 구축된다. 3장의 목표는 몇 가지 일반적인 아키텍처 접근법과 프레임워크를 검토한 다음 ‘우수한^good’ 데이터 아키텍처에 대한 나름대로의 정의를 제시하는 것이다. 물론 이런 논의가 모두를 만족시키지는 못한다. 그래도 이 책에서는 매우 다양한 규모의 비즈니스 프로세스 및 요구 사항을 지닌 기업들에 적합하리라 기대되는 데이터 아키텍처에 관한 실용적이고 도메인에 특화된 업무 정의를 제시해볼 것이다.

데이터 아키텍처란 무엇일까? 그 정체를 파헤치기에 앞서 잠깐 생각해보면 주제가 약간 모호해진다. 데이터 아키텍처 연구는 일관성이 없고 때로는 시대에 뒤떨어진 정의를 산출하기도 하기 때문이다. 1장에서 데이터 엔지니어링을 정의했을 때 정의에 ...