데이터 엔지니어를 위한 97가지 조언

95 데이터 과학 팀에 전문가 대신 제너럴리스트가 필요한 이유

 

에릭 콜슨(Eric Colson)

애덤 스미스Adam Smith는 <국부론>에서 핀을 만드는 공장의 조립 라인을 예로 들어 분업이 생산성을 향상시키는 데 근본이 된다는 사실을 생생히 보여주었습니다. “첫 번째 사람은 철사를 뽑고, 두 번째 사람은 곧게 펴고, 세 번째 사람은 자르고, 네 번째 사람은 뾰족하게 깎고, 마지막 사람은 연마합니다.” 기능 중심의 전문화를 진행하면 작업자는 각기 좁은 영역의 작업에 고도로 숙련되므로 프로세스의 효율은 올라갑니다.

이런 효율성의 매력에 이끌려 데이터 과학 팀도 데이터 엔지니어, 머신 러닝 엔지니어, 연구원, 인과 추론 과학자 등 전문 기능에 따라 구성되었습니다. 제품 관리자가 전문가의 작업을 조정하며, 핀 공장과 비슷한 방식으로 기능 사이의 핸드오프handoff를 수행합니다. “첫 번째 사람은 데이터를 제공하고, 두 번째 사람은 모델로 만들고, 세 번째 사람이 구현하며, 마지막 사람이 측정합니다.”

이 접근 방식의 문제점은 데이터 과학 제품과 서비스를 미리 설계하기가 매우 어렵다는 점입니다. 제품과 서비스를 이터레이션하는 과정을 통해 학습하고 개발해야 합니다. 그러나 개발을 전문가 여러 명이 나누어 하게 되면 여러 요인으로 인해 반복 주기가 ...