데이터 거버넌스: 최종 가이드

6장. 비행 중 데이터 거버넌스

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

데이터, 특히 데이터 분석을 통해 인사이트를 얻는 데 사용되는 데이터는 '살아있는' 매체입니다. 여러 소스에서 데이터가 수집되면 다음 시즌의 비즈니스 수요를 예측할 수 있는 표준화된 '거래 테이블'부터 새로운 작물의 과거 수확량을 보여주는 대시보드 등 다양한 사용 사례에 맞게 다양한 패턴으로 재구성, 변형, 성형됩니다.

데이터 거버넌스는 이러한 혁신 전반에 걸쳐 일관성을 유지해야 하며, 효율성과 보안을 강화할 수 있어야 합니다. 데이터 거버넌스는 사용자가 필요에 따라 데이터를 재구성하고 수집할 때 새로운 데이터 컨테이너를 등록하고 주석을 달도록 강요함으로써 노동력을 유발해서는 안 됩니다.

이 장에서는 "비행 중" 데이터 분석을 통해 원활한 데이터 거버넌스를 구현할 수 있는 기술과 도구에 대해 설명합니다.

데이터 변환

데이터를 변환하는 방법에는 여러 가지가 있으며, 모두 거버넌스에 영향을 미치므로 더 자세히 알아보기 전에 이러한 방법을 알고 있어야 합니다. 이러한 프로세스를 추출-변환-로드(ETL)라고 부르는 것이 일반적입니다. 이는 시스템 간에 데이터를 이동하는 다양한 단계를 나타내는 데 사용되는 일반적인 표현입니다.

데이터추출은 데이터가 저장된 소스 시스템(예: 레거시 DB, 파일 또는 웹 크롤러 작업의 결과)에서 데이터를 검색하는 것을 의미합니다. 데이터 추출은 시간이 많이 소요되는 검색 프로세스이므로 데이터 추출은 별도의 단계입니다. 추출 단계를 파이프라인의 첫 번째 단계로 간주하여 후속 단계가 계속 추출과 병행하여 일괄적으로 작동할 수 있도록 하는 것이 유리합니다. 소스에서 데이터를 추출할 때 데이터 유효성 검사를 수행하여 검색된 값이 '예상대로'(레코드의 완전성과 정확성이 예상 값과 일치하는지, 5장 참조) 검색되는지 확인하는 것이 유용합니다. 소스 시스템의 컨텍스트 내에서 작업하면서 데이터 유효성 검사를 수행하면 이후 단계에서 수행되는 다른 계산 결과(이 단계에서는 알 수 없음)에 방해받지 않게 되고, 진행하면서 소스 데이터의 컨텍스트를 잃을 수도 있습니다. 이전 장에서 데이터 유효성 검사 프로세스의 한 예인 데이터 준비에 대해 설명했습니다. 추출 및 유효성 검사 중인 데이터는 일반적으로 비즈니스 사용자가 액세스할 수 없는 준비 영역에 있는 경우가 많으며, 여기서 데이터 소유자와 데이터 관리자가 앞서 언급한 유효성 검사를 수행합니다.

데이터 변환에는 일반적으로 이상값 제거, 여러 소스에서 단일 레코드(행)로 조인, 관련성이 있는 경우 집계, 단일 복합 열을 여러 열로 분할하는 등 데이터의 정규화가 포함됩니다. 모든 종류의 범용 정리뿐만 아니라 초기에 수행되는 모든 정규화 작업은 정리 수준에서 예상하지 못했던 정보, 즉 예상치 못한 값을 가진 정보도 제거한다는 사실에 주의해야 합니다. 이는 데이터를 추출할 때 비즈니스 컨텍스트를 염두에 두어야 하며, 추출 프로세스에서 ...