데이터 엔지니어를 위한 97가지 조언

25 데이터 생성 과정 정보를 파악해서 파이프라인을 이해하기 쉽게 하라

 

메건 콰틀러(Meghan Kwartler)

새로운 프로젝트나 새로운 팀, 새로운 회사에 합류하게 되었을 때 여러분은 비즈니스 가치를 더하기 위해 기존 업무를 파악해서 영향력을 발휘하고 싶겠지만 참아야 합니다. 코드를 바로 작성하고 싶은 유혹이 들 수 있지만, 섣부른 가정과 충동을 이기고 굳건한 기초를 세우는 데 집중한다면 앞으로의 미래에 많은 도움이 될 것입니다.

먼저 데이터가 어디서부터 어떻게 오는지 파악하세요. 데이터가 사용자로부터 시작된다면 사용자의 데이터 입력 경험부터 파악하면 좋습니다. 제조 공장을 돌아보거나 기계 조작 담당자와 시스템 사용 방식에 대해 이야기하다 보면 사용자가 원래 시스템 설계에 맞지 않게 데이터를 입력하거나 데이터를 빠뜨릴 만한 이유를 발견하기도 합니다. 데이터를 입력하는 사용자에게 접근할 수 없다면 그들의 교육 문서를 검토하거나 해당 기능과 연관된 비즈니스 분석가와 논의하세요.

데이터가 센서나 장비, 하드웨어에서 생성되었다면 장비 사양을 알아보세요. 설명서와 문서를 자세히 살피면서 데이터 생성 방식을 명확히 파악해야 합니다. 그러면 나중에 데이터를 확실히 이해한 상태로 데이터를 분석할 수 있을 겁니다. 예상 값을 알면 데이터 소스 장비에서 ...