견고한 데이터 엔지니어링

CHAPTER 2

                 

데이터 엔지니어링 수명 주기

 

 

 

 

 

이 책의 주요 목표는 데이터 엔지니어링을 특정 데이터 기술의 집합으로 보는 관점에서 벗어나도록 장려하는 것이다. 데이터 환경은 새로운 데이터 기술과 관행들의 폭발적 증가를 겪고 있으며, 추상화 수준과 사용 편의성이 계속 높아지고 있다. 기술적인 추상화가 확대됨에 따라 데이터 엔지니어는 점점 데이터 수명 주기 관리 원칙^principle의 관점에서 사고하고 운용하는 데이터 수명 주기 엔지니어가 될 것이다.

2장에서는 이 책의 중심 주제인 데이터 엔지니어링 수명 주기를 설명한다. 데이터 엔지니어링 수명 주기는 요람에서 무덤까지(즉, 그 생성부터 소멸까지) 데이터 엔지니어링을 설명하는 프레임워크다. 또한 모든 데이터 엔지니어링 작업을 지원하는 주요 기반인, 데이터 엔지니어링 수명 주기의 드러나지 않는 요소도 살펴볼 것이다.

 

 

2.1 데이터 엔지니어링 수명 주기란?

 

데이터 엔지니어링 수명 주기는 원시 데이터^{raw data}의 요소를 분석가, 데이터 과학자, ML 엔지니어 등이 사용할 수 있는 유용한 최종 제품으로 전환하는 단계로 구성된다. 2장에서는 데이터 엔지니어링 수명 주기의 주요 단계를 소개한다. 단계별 핵심 개념에 초점을 맞추어 설명하되, 자세한 내용은 이후에 살펴볼 것이다.

데이터 엔지니어링 수명 주기는 다음 5단계로 나눌 수 있다([그림 2-1], 위).

 

• 데이터 생성

• 데이터 저장

• 데이터 수집

• 데이터 ...