데이터 엔지니어를 위한 97가지 조언

18 데이터 과학자 관점에서 보는 데이터 엔지니어링

 

빌 프랭크스(Bill Franks)

데이터 수집과 관리는 수십 년간 중요하게 여겨졌지만, 최근에서야 데이터 엔지니어링이 광범위하게 활용되며 중요한 역할로 자리잡았습니다.¹ 왜 그럴까요? 여기서는 일반적인 생각과는 다소 반대되는 견해를 제시합니다.

 

 

¦ 데이터 관리나 ETL 등 ¦

역사적으로 기업 데이터를 다루는 사람들은 집중하는 주요 영역에 따라 다음과 같이 세 부류로 나눠집니다. 첫 번째는 미가공 데이터를 소스 시스템으로 수집하는 일을 관리하는 사람들입니다. 두 번째는 ETL 운영에 집중하는 사람들로, 최근까지도 ETL 직무는 관계형 데이터베이스에 압도적으로집중되어 있었습니다. 세 번째는 관계형 시스템을 관리하는 데이터베이스 관리자입니다.

이러한 전통적 데이터 직무의 작업은 대체로 표준화되어 있습니다. 이를테면 데이터베이스 관리자는 데이터를 저장할 디스크 위치나 관계형 무결성을 보장하는 방법을 데이터베이스에 알려주지 않습니다. 관계형 기술이 성숙mature하여 많은 복잡한 작업을 쉽게 처리할 수 있기 때문입니다. 마찬가지로 ETL 도구에도 공통적인 소스 시스템에 대한 어댑터와 일반적인 변환 시스템 작업을 처리하는 기능 및 공통적인 대상 저장소에 대한 훅hook이 있습니다. 수년간 ...