데이터 엔지니어를 위한 97가지 조언

50 모던 데이터 스택을 위한 모던 메타데이터

 

프루칼파 산카르(Prukalpa Sankar)

최근 데이터 세상은 대규모 데이터를 처리하는 데 가장 적합한 도구인 모던 데이터 스택이 중심이 되었습니다. 모던 데이터 스택은 매우 빠르고, 몇 초만에 쉽게 확장할 수 있으며, 추가 비용 부담이 거의 없습니다. 그러나 모던 데이터 스택도 여전히 데이터에 거버넌스와 신뢰, 컨텍스트를 제공하기에는 미숙하다는 단점이 있습니다.

그래서 메타데이터가 필요합니다. 지난 1년간 저는 350명이 넘는 데이터 리더와 대화하면서 기존 솔루션의 문제를 파악하고 모던 데이터 스택에서 모던 메타데이터의 비전을 구축했습니다. 지금부터 모던 메타데이터 솔루션이 갖는 4가지 특성을 알아보겠습니다.

 

 

¦ 데이터 자산은 테이블 외의 것까지 포함한다 ¦

기존의 데이터 카탈로그는 관리할 자산asset이 테이블뿐이라는 전제 하에 만들어졌습니다. 지금은 완전히 다릅니다.

비즈니스 인텔리전스Business Intelligence, BI 대시보드와 코드 조각, SQL 쿼리, 모델, 피처feature, 주피터 노트북 모두가 오늘날의 데이터 자산입니다. 차세대 메타데이터 관리 방식은 다양한 유형의 데이터 자산을 지능적으로 한 곳에 저장하고 연결할 만큼 유연해야 합니다.

 

 

¦ 단편적 ...