데이터 엔지니어를 위한 97가지 조언

48 데이터 플랫폼의 핵심 요소인 메타데이터 서비스

 

로힛 비자야레누(Lohit VijayaRenu)

비정형 데이터의 폭발적인 증가로 인해 데이터 발견discovery과 데이터 관리 및 보안 관련 문제가 새롭게 생겨났습니다. 데이터의 양이 늘어나고 사용상 복잡도가 높아짐에 따라 메타데이터 서비스를 데이터 플랫폼의 일부로 간주하는 일이 더 중요해졌습니다. 형식이 있든 없든 오늘날의 데이터는 모두 비즈니스에 의미 있는 통찰을 도출하기 위한 중요한 정보를 제공합니다. 데이터 엔지니어는 조직에 도입할지 검토하는 모든 메타데이터 서비스에서 발견 가능성과 보안 제어, 스키마 관리, 애플리케이션 인터페이스, 서비스 보증을 어떻게 제공하는지 알아봐야 합니다.

 

 

¦ 발견 가능성 ¦

메타데이터 서비스의 가장 명확하고 일반적인 용도는 사용자에게 데이터와 데이터 파티션을 찾을 수 있는 인터페이스를 제공하는 것입니다. 데이터 플랫폼에 다양한 스토리지 시스템이 있는 경우, 어떤 데이터셋이든 찾을 수 있는 공통 인터페이스가 있다면 일반적인 솔루션을 구축하는 데 도움이 됩니다. 따라서 사용자에게 데이터셋과 그 파티션을 쿼리할 수 있는 알기 쉬운 인터페이스를 제공해야 하며, 쿼리는 메타데이터 서비스를 통해 실제 물리적 위치로 변환됩니다. 이제 사용자 애플리케이션은 ...