데이터 엔지니어를 위한 97가지 조언

59 QA에 대한 흥미로운 사실

 

소니아 메타(Sonia Mehta)

여러분이 예비 집주인이라면 새 집으로 이사하기 전에 집에 손상된 부분은 없는지 주택 하자 조사원을 통해 알아볼 것입니다. 주택 하자 조사원과 마찬가지로, 데이터가 프로덕션으로 옮겨지기 전에 눈에 띄거나 띄지 않는 문제를 찾아내는 것은 데이터 엔지니어의 몫입니다.

품질 보증(QA) 프로그램 설정은 간단하며 가치 있는 일입니다. QA 프로그램을 설정할 때 테스트는 크게 실제적 버킷과 논리적 버킷으로 나눌 수 있습니다.

실제적 테스트는 데이터의 완전성과 정확한 데이터 타입을 테스트하는 것을 목표로 합니다. 여기에는 다음과 같은 내용이 포함됩니다.

 

• 날짜나 예상 행 개수를 검사하여 데이터 커버리지 확인

• 통화 입력 표준화(메트릭에서 쉼표 제거 등)

• 필수 필드에 널 값이 없는지 확인

• 일관된 날짜, 표준 시간대, 대소문자 형식의 유효성 검사

• 헤더가 데이터 자체가 아닌 데이터에 적용되는지 확인

• 데이터셋에서 중복 제거

 

논리적 테스트는 비즈니스 및 도메인 연관성에 대한 것입니다. 여기가 재미있는 부분입니다! 논리적 테스트 단계에서 핵심은 비즈니스 맥락을 파악하고 답을 구해야 하는 주요 질문을 이해하는 것입니다. 이해관계자에게 정확도가 얼마나 중요한지 아는 것도 ...