데이터 엔지니어를 위한 97가지 조언

65 데이터 프로젝트를 성공시키려면 기술이 뒤로 물러서야 한다

 

앤드루 스티븐슨(Andrew Stevenson)

Lenses.io의 공동 창업자 겸 CTO

제가 경력을 이어가는 동안 데이터는 언제나 변함없는 주제였습니다. C++ 개발자로 근무했던 초기부터 데이터 엔지니어링으로 전환할 때까지, 고빈도 거래 등의 사용 사례에서 증가하는 데이터의 속도와 볼륨을 관리한 경험 때문에 최첨단 오픈 소스 기술에 의존하게 되었습니다.

저는 운이 좋은 사람 중 한 명이었습니다. 빅데이터 혁명이 정점일 때 고액 연봉을 받는 엘리트 개발자들과 같이 일했습니다. 최첨단 기술을 사용하기는 했지만 가장 힘든 문제는 기술 관리가 아니었습니다. 우리의 가장 큰 과제는 바로 비즈니스 맥락을 파악하고 그에 따라 기술로 무엇을 해야 하는지 이해하는 것이었습니다. 저는 개발자였고, 복잡한 인프라를 구성하고 파이프라인 구축 및 운영을 담당하면서 그와 동시에 신용 시장 위험에 대한 전문가일 수는 없었습니다.

저는 비즈니스 분석가가 데이터의 맥락이나 의도된 결과를 알지 못한 채 하루 종일 오픈 소스 기술과 싸우는 데이터 엔지니어를 선호하고 지지하는 것을 몇 번이나 목격했습니다. 기술 우선 초점은 기술자에게 기술에 대한 자율권을 부여했고, 그로 인해 비즈니스 목표는 뒷전으로 밀려나는 ...