데이터 엔지니어를 위한 97가지 조언

26 코드뿐만 아니라 커뮤니티를 개발하라

 

에밀리 리더러(Emily Riederer)

데이터 엔지니어는 데이터 파이프라인 구축이 자신의 핵심 업무라고 여깁니다. 실제로 직무 설명에 그렇게 기재되어 있으며 관리자의 평가 방식에 제시된 내용도 그렇기 때문입니다. 그렇지만 데이터 제품과 함께 데이터 문화를 개발하는 것에 대해 생각한다면, 데이터 엔지니어는 조직에 훨씬 큰 영향력을 행사할 수 있는 독보적인 위치에 있습니다.

데이터 엔지니어가 생성하는 데이터는 서로 다른 비즈니스 부서에 있는 수많은 데이터 과학자와 데이터 분석가 및 사용자 모두가 소비할 가능성이 높습니다. 그리고 대규모 조직에서는 구성원 개개인이 흩어져 있기 때문에 동일한 핵심 데이터 자산으로 유사한 문제를 풀려고 하는 사람이 자신 말고도 많다는 사실을 깨닫지 못할 수 있습니다. 이렇게 보면 데이터는 공통된 목표가 있는 사용자 네트워크를 연결할 수 있는 공유 플랫폼이기도 합니다. 사용자에게 권한이 있으면 데이터에서 더 많은 가치를 얻을 수 있을 뿐만 아니라, 데이터 요구 사항을 그때그때 데이터 엔지니어링 팀에 의존해서 해결하는 대신 사용자가 직접 처리하거나 여러 사람의 도움을 얻어서 해결할 수 있습니다.

이러한 네트워크와 커뮤니티는 모두가 합심해서 노력해야만 만들 수 있습니다. 다운스트림 ...