데이터 엔지니어를 위한 97가지 조언

44 사용자 의견을 듣되 지나치게 따르지 마라

 

아만다 톰린슨(Amanda Tomlinson)

모두 멋진 인포그래픽을 본 적이 있겠지만, 데이터 엔지니어에게 매일 생성되는 엄청난 양의 데이터에 대해 말할 필요는 없습니다. 우리 모두는 데이터와 함께 살고 있습니다.

엔지니어 모두가 데이터를 추출하고, 변환하고, 처리 파이프라인에서 사용자가 사용할 영역으로 옮기고(변환 전에 로드를 수행해야 할지 고려하고), 깔끔하게 다듬고(다듬지 말아야 한다고요?), 얼마나 오랫동안 어떤 곳에 저장할지 정하고, 막대한 양의 데이터를 다루기 위한 신규 인프라를 세우고, 필터링하고, 조인하고, 데이터 기반으로 KPI 수립 및 모델 구축을 하고, 데이터를 위한 워크플로를 구축하고, 노출시키고, 데이터에 대한 카탈로그를 만들고, 모니터링합니다(처음에는 쉽지만 시간이 흐를수록 점점 어려워지는 일입니다). 해야 할 일이 너무 많고 이해관계자들의 요구도 많기 때문에 여러 데이터 팀, 특히 내부 고객 대상 서비스를 제공하는 팀에서 데이터 엔지니어링의 기술적 측면에 지나치게 몰두한 나머지 사용자가 누구이고, 실제로 필요로 하는 것이 무엇인지 고려하는 것을 잊는 점은 놀랍지 않습니다. 데이터는 데이터잖아요?

머지않아 데이터 팀에서 자신들의 노력이 쓸모없어진다고 생각하여 불만이 ...