데이터 엔지니어를 위한 97가지 조언

53 데이터 엔지니어를 위한 관측 가능성

 

바 모지스(Barr Moses)

기업이 점점 데이터 중심적으로 변화함에 따라 데이터가 제공하는 풍부한 통찰의 기반이 되는 기술은 더 미묘하고 복잡해졌습니다. 데이터를 수집, 저장, 집계, 시각화하는 능력은 모던 데이터 팀의 요구 사항(도메인 지향 데이터 메시data mesh, 클라우드 웨어하우스, 데이터 모델링 솔루션 등)을 대부분 따라잡았지만, 데이터 품질 및 무결성 뒤에 감춰진 기법은 뒤처졌습니다.

 

 

¦ 좋은 데이터가 악화되는 원인 ¦

수백 개의 데이터 엔지니어링 팀과 이야기를 나눈 후 좋은 데이터가 악화되는 주요 원인 3가지를 발견했습니다.

 

점점 더 늘어나는 데이터 소스

오늘날 기업은 분석 및 머신 러닝 모델을 생성하기 위해 수십 수백 개의 내/외부 데이터 소스를 사용합니다. 데이터 소스 중 하나라도 사전 고지 없이 예기치 못한 방식으로 변경된다면 회사의 주요한 의사결정에 영향을 주는 데이터가 손상될 수 있습니다.

 

점차 복잡해지는 데이터 파이프라인

데이터 파이프라인은 여러 프로세싱 단계를 거치며 다양한 데이터 자산이 서로 적지 않은 의존성을 가지기 때문에 점점 복잡해지고 있습니다. 이러한 의존성을 가시화하지 못하면 어떤 데이터셋을 변경했을 때 그에 의존하는 다른 데이터 자산의 정확성에도 ...