데이터 엔지니어를 위한 97가지 조언

97 데이터 검증 실패! 그 다음은?

 

샘 베일(Sam Bail) 박사

축하합니다! 파이프라인에 데이터 테스트를 성공적으로 구현했군요. 구매한 도구를 사용했든 직접 만든 검증 코드를 사용했든 관계없이 고품질의 데이터 통찰을 얻기 위한 필수적인 단계를 밟았습니다. 그렇지만 여러분은 테스트가 실제로 실패했을 때 일어나는 일에 대한 계획도 가지고 있나요? 이번 섹션에서는 데이터 검증에 실패했을 때 대응하는 몇 가지 주요 단계와, 조직을 위해 데이터 품질 전략을 개발하는 경우 확인해야 할 중요한 사항에 대해 설명합니다.

 

 

¦ 시스템 응답 ¦

자동화된 시스템 응답은 데이터 테스트가 실패했을 때 처음 대응하는 단계입니다. 이 단계에서는 불량 데이터를 격리한 다음 파이프라인을 마저 진행하거나, 파이프라인을 중지하거나, 아무것도 하지 않을 수 있습니다.

 

 

¦ 로깅 및 알림 ¦

어떤 오류를 바로 알리고 어떤 오류를 차후 활용할 용도로 로그에 남겨야 할까요? 알림을 확실히 받기 위해 이메일, 슬랙, 페이저듀티PagerDuty 등의 여러 매체 중에서 무엇을 선택하실 건가요? 알림은 언제 전송해야 할까요? 곧바로? 파이프라인 실행 종료 시점에? 혹은 정해진 시간에? 마지막으로 대응하는 사람이 어떤 일이 일어났는지, 그 사건이 얼마나 심각한지를 곧바로 ...