견고한 데이터 엔지니어링

CHAPTER 1

                 

데이터 엔지니어링 상세

 

 

 

 

 

여러분이 데이터나 소프트웨어 분야에서 일한다면, 데이터 엔지니어링이 마침내 어둠의 영역에서 벗어나 데이터 과학과 대등한 지위를 누리게 되었다는 사실을 깨달았을 것이다. 실제 운영 환경에서 데이터 과학 및 분석에 필요한 기반을 구축하는 데이터 엔지니어링은 데이터와 기술 부문에서 가장 인기 있는 주제 중 하나다.

1장에서는 데이터 엔지니어링이 무엇인지, 데이터 엔지니어링 분야가 어떻게 탄생하고 진화했는지를 살펴본다. 또한 데이터 엔지니어의 기술들을 알아보고 데이터 엔지니어가 누구와 함께 일하는지 살펴본다.

 

 

1.1 데이터 엔지니어링이란?

 

데이터 엔지니어링의 인기는 높아졌지만 데이터 엔지니어링이 실제로 무엇을 의미하는지, 데이터 엔지니어가 무엇을 하는지에 관해서는 여전히 많은 사람이 혼란스러워한다. 데이터 엔지니어링은 기업이 데이터를 활용하는 작업(예를 들면 예측 분석, 기술 분석, 보고서 등)을 시작한 이후 어떤 형태로든 존재해 왔으며, 2010년대 데이터 과학의 부상과 함께 급격히 주목받기 시작했다. 이 책의 목적을 달성하려면 먼저 데이터 엔지니어링^{data engineering}과 데이터 엔지니어^{data engineer}가 의미하는 바부터 정의해야 한다.

먼저 데이터 엔지니어링이 어떻게 묘사되는지를 살펴보고 이 책 전반에 걸쳐 사용할 몇 가지 용어를 정립하겠다. 데이터 엔지니어링이라는 용어에는 수많은 정의가 존재한다. 2022년 ...