견고한 데이터 엔지니어링

CHAPTER 7

                 

3단계: 데이터 수집

 

 

 

 

 

지금까지 데이터 엔지니어로서 접하게 될 다양한 원천 시스템과 데이터 저장 방법을 살펴봤다. 이제 다양한 원천 시스템에서 데이터를 수집할 때 적용되는 패턴과 선택 사항을 살펴보겠다.

이 장에서는 데이터 수집([그림 7-1] 참조), 수집 단계의 주요 엔지니어링 고려 사항, 배치 및 스트리밍 수집의 주요 패턴, 데이터 수집 파이프라인을 개발할 때 함께 작업할 담당자, 수집 단계에서 드러나지 않는 요소가 어떻게 기능하는지를 설명한다.

 

그림 7-1 데이터 처리를 시작하려면 데이터를 수집해야 한다.

 

 

7.1 데이터 수집이란?

 

데이터 수집^{data ingestion}은 데이터를 한 장소에서 다른 장소로 옮기는 프로세스다. 데이터 엔지니어링 수명 주기에서는 원천 시스템에서 스토리지로 데이터가 이동하는 것으로, 수집은 중간 단계에서 이루어진다(그림 7-2).

 

그림 7-2 시스템 1의 데이터가 시스템 2로 수집된다.

 

데이터 수집과 데이터 통합^integration을 간단히 비교해보자. ...