데이터 엔지니어를 위한 97가지 조언

43 로봇을 이용해서 규칙을 강제하라

 

앤서니 부르디(Anthony Burdi)

데이터 전문가의 업무 중에는 지저분한 입력을 처리하는 일도 있습니다. 늘 세세한 것까지 규칙을 들이밀 필요는 없지만, 데이터 생산자에게 정해진 방식으로 입력을 구조화하라고 요청하면 그다지 매력적이지 않은 작업에 대한 수행 부담을 덜 수 있습니다.

아주 멋지네요. 이제 들어오는 데이터가 더 깔끔해졌습니다. 작업 부담은 줄었지만 그만큼의 부담이 다른 일로 옮겨갔습니다. 다른 사람들에게 정해진 규칙을 따르고, 문서를 읽고, 프로세스를 따라 달라고 요청하는 등의 대인 관계로 인한 부담입니다. 일부 엔지니어에게는 대인 관계가 감정적으로 더 힘든 일이라서, 직접 너저분한 데이터를 처리할 때보다 일이 더 어렵다고 느낄 수 있습니다.

그러면 어떻게 해야 할까요? 지루하고, 반복적이며, 까다롭고 정의할 수 있는 다른 작업과 똑같이 해야 합니다. 바로 자동화입니다! 검증 로봇을 이용하며 할 만한 일에 대한 아이디어 몇 가지를 제시하겠습니다.

 

• 구글 폼을 사용해서 데이터 요청이나 시각화 요청을 기록하는 동시에 핵심적인 사항을 질문하세요. 이를테면 문제 정의, 요청 사유, 결과물, 우선순위 등이 있습니다(샘 발리(Sam Bali)가 블로그에 작성한 ‘Just One More ...