데이터 엔지니어를 위한 97가지 조언

11 주의: 데이터 과학 프로젝트가 벌거벗은 임금님 이야기가 되지 않으려면

 

쉐타 카트레(Shweta Katre)

4차 산업혁명, 분석의 시대가 도래했습니다. 다들 극도로 경쟁적인 데이터 주도 세상에서 주도권을 잡기 위해 예측 모델 및 알고리즘 개발에 미친듯이달려들고 있습니다. 예측 분석으로 출발해서 머신 러닝 및 인공지능 영역으로 넘어가는 기업 대다수가 데이터 과학 프로젝트를 만들기 위해 역량을 확장하고 있습니다.

다른 모든 프로젝트 팀처럼 데이터 과학 팀도 정해진 기간 안에 출시가 가능할 만한 비즈니스 가치를 만들라는 거센 압력을 받습니다. 데이터 과학 팀에 주어진 큰 과제는 작업 과정과 완료 상황을 가시적이고 측정 가능하게 보여주어 이해관계자의 관심과 안정적인 자금을 확보하는 것입니다.

그렇지만 프로젝트 시간 중 대략 80%는 데이터 수집/선택, 데이터 준비, 탐색적 분석을 하는 데 쓰입니다(다음 페이지의 그림 참조). 프로젝트에 드는 간접 비용은 막대하지만 보이는 결과물은 없습니다. 약속된 예측 모델이나 알고리즘은 프로젝트 초기, 심지어는 중반까지도 드러나지 않습니다. 때때로 평가나 검증 단계에서 분석 전체를 폐기하고 처음부터 그려야 할 수도 있고요. 자원과 시간이 소모되었지만 결과는 없는 상황입니다. 바로 벌거벗은 임금님의 새 옷 ...