데이터 엔지니어를 위한 97가지 조언

20 데이터 엔지니어를 위한 데이터 품질

 

캐서린 자멀(Katharine Jarmul)

데이터 파이프라인을 관리하고 배포할 때 동작 여부를 어떻게 확인해야 할까요? 데이터가 테스트를 거치도록 하나요? 가동 시간을 모니터링하나요? 테스트를 하기는 하나요? 그렇다면 테스트 대상은 정확히 무엇인가요?

데이터 파이프라인은 전 세계로 가스, 석유, 물 등을 나르는 또다른 파이프라인과 크게 다르지 않습니다. 시작점과 끝점을 정의해야 하며, 정기적인 모니터링과 누출 테스트 같은 엔지니어링이 필요합니다. 그렇지만 대다수의 데이터 파이프라인과 달리 실세계의 파이프라인은 파이프라인이 나르는 물질의 품질 검사가 필요합니다. 그것도 정기적으로 말입니다.

마지막으로 데이터 파이프라인의 데이터 품질을 테스트한 것은 언제인가요? 유입 데이터나 변환 데이터의 스키마를 검증한 지는 얼마나 되었나요? 데이터 값이 적절한 범위 안에 있는지 살펴보는 상식 테스트를 한 것은 언제인가요? 데이터 품질이 낮은 경우 의미 있는 방식에 따라 플래그를 지정하고 관리하고 있는지를 어떻게 확인하고 있나요?

대규모 데이터 파이프라인의 성장세와 이용량을 고려하면 데이터 검증과 테스트, 품질 검사가 비즈니스 요구에 미치는 영향이 그 어느 때보다 큽니다. 데이터를 아무리 많이 수집해도 품질을 제대로 ...