데이터 엔지니어를 위한 97가지 조언

87 데이터 엔지니어란 어떤 직종인가? 힌트: 데이터 과학의 조력자

 

루이스 개빈(Lewis Gavin)

데이터 엔지니어란 직함이 항상 데이터 과학자처럼 흥미로운 의미를 담고 있는 것은 아닙니다. 인기도를 겨룬다면 머신 러닝이나 인공지능 같은 주제에게 언제나 질 것입니다. 하지만 이러한 멋진 개념 뒤에 숨은 작업의 상당 부분은 데이터 엔지니어링으로부터 생겨난 것입니다. 저는 최근에 이 점에 대해 이야기하는 많은 기사를 보았습니다. 바로 데이터 과학자의 작업 중 80%는 데이터 준비 및 클렌징이라는 점입니다.

 

 

¦ 인공지능과 머신 러닝 모델에는 데이터가 필요하다 ¦

데이터 과학자와 이야기를 나눠보면, 특히 자신의 모델에 필요한 모든 것을 포함하고 있는 소스에서 데이터를 얻는 것이 허황된 꿈과 같은 이야기라고 말할 겁니다. 이것이 바로 데이터 엔지니어가 잘 나가는 이유입니다.

데이터 엔지니어가 주는 이점은 바로 엔지니어링입니다. 데이터 엔지니어는 서로 다른 소스의 데이터를 제공할 수 있을 뿐만 아니라, 반복 가능하고 최신의 방식으로, 심지어 실시간으로 데이터를 제공할 수 있습니다.

 

 

¦ 깔끔한 데이터는 더 나은 모델로 이어진다 ¦

2016년의 한 설문 조사에 따르면 데이터 과학 작업의 80%가 데이터를 준비하는 일이며, 데이터 과학자의 ...