견고한 데이터 엔지니어링

CHAPTER 6

                 

2단계: 데이터 저장

 

 

 

 

 

데이터 저장^storage은 데이터 엔지니어링 수명 주기(그림 6-1)의 토대로서 주요 단계인 수집, 변환 및 서빙의 기초가 된다(이 책에서는 데이터 저장을 ‘스토리지’와 혼용해 사용한다). 데이터는 수명 주기를 거치는 동안 여러 번 저장된다. 데이터가 몇 초, 몇 분, 며칠, 몇 달 또는 몇 년 후에 필요한 경우에도, 시스템이 추가적인 처리와 전송을 위해 데이터를 사용할 준비가 될 때까지 데이터는 계속 저장되어 있어야 한다. 데이터의 사용 사례와 향후 데이터 검색 방법을 파악하는 것이 데이터 아키텍처에 적합한 스토리지 설루션을 선택하는 첫 번째 단계다.

 

그림 6-1 저장 단계는 데이터 엔지니어링 수명 주기에서 중심적인 역할을 한다.

 

5장에서도 스토리지에 대해 설명했지만, 초점과 제어 영역에 차이가 있었다. 원천 시스템은 일반적으로 데이터 엔지니어가 유지 관리하거나 제어하지 않는다. 이 장에서 중점적으로 살펴볼, 데이터 엔지니어가 직접 처리하는 스토리지는 분석 및 데이터 과학으로 그 가치를 제공하기 위해 원천 시스템에서 데이터를 수집하는 단계부터 데이터를 제공(서빙)하는 단계까지의 데이터 엔지니어링 단계를 포괄한다. 많은 형태의 스토리지는 전체 데이터 ...