데이터 엔지니어를 위한 97가지 조언

31 안정적인 데이터 처리를 위한 5가지 모범 사례

 

크리스티안 라우어(Christian Lauer)

다음에 설명하는 5가지 모범 사례는 ELT나 ETL 등의 데이터 프로세스를 구현할 때 꼭 필요한 요소입니다.

 

 

¦ 오류를 방지하라 ¦

작업이 실패했다면 SQL로 했던 것처럼 롤백을 수행해야 합니다. 작업이 오류로 중단되면 모든 변경 사항을 되돌려야 합니다. 그렇지 않으면 트랜잭션의 일부만 전달되고 나머지는 누락됩니다. 그리고 어떤 데이터가 사라졌는지 찾기가 매우 어려워집니다.

 

 

¦ 타당한 처리 시간을 설정하라 ¦

어떤 작업이 n개의 데이터 행을 처리하는 데 얼마큼의 시간이 걸렸나요? 이는 프로세스에 대한 중요한 통찰을 제공합니다. 프로세스가 얼마나 자주 실행되어야 하며 실행에 걸리는 시간은 어느 정도일까요? 팀에서 어느 정도의 데이터 현실성을 보장할 수 있나요? 데이터를 다시 로드해야 한다면 어떤 일이 발생할까요?

 

 

¦ 데이터 품질 측정 작업을 사용하라 ¦

소스와 타깃 시스템은 정해진 규칙을 따르나요? 모든 데이터가 전송되었는지 어떻게 확인할 수 있나요? 여기에서는 모니터링 전략을 수립하는 것이 좋습니다. 데이터 품질을 측정하고 신속하게 오류를 감지하는 것은 언제든 옳습니다. 그렇지 않다면 소비자의 신뢰를 받을 수 없습니다. ...