견고한 데이터 엔지니어링

CHAPTER 8

                 

4단계: 쿼리 모델링 및 데이터 변환

 

 

 

 

 

지금까지 데이터 엔지니어링 수명 주기의 단계는 주로 데이터를 한 장소에서 다른 곳으로 전달하거나 저장하는 것이었다. 이 장에서는 데이터를 유용하게 만드는 방법을 알아볼 것이다. 쿼리, 모델링 및 변환을 이해하면 원시 데이터 구성 요소를 다운스트림 이해관계자가 사용할 수 있는 것으로 전환하는 도구를 얻을 수 있다([그림 8-1] 참조).

 

그림 8-1 ‘변환’ 단계를 통해 데이터로부터 가치를 창출할 수 있다.

 

먼저 쿼리와 그 기반이 되는 중요한 패턴을 살펴볼 것이다. 둘째, 데이터에 비즈니스 로직을 도입하는 데 사용할 수 있는 주요 데이터 모델링 패턴을 알아볼 것이다. 다음으로 데이터 모델의 로직과 쿼리 결과를 채택해 더 간단한 다운스트림 사용에 유용하게 만드는 변환을 다룰 것이다. 마지막으로 이 챕터와 관련된 드러나지 않는 요소를 다룰 것이다.

SQL과 NoSQL 데이터베이스의 데이터를 쿼리, 모델링 및 변환하는 데 다양한 기술을 활용할 수 있다. 이 절에서는 데이터 웨어하우스나 데이터 레이크 등의 OLAP 시스템에 대한 쿼리를 설명한다. 쿼리에는 많은 언어가 존재하지만, 편리함과 친숙함을 위해 이 장에서는 가장 널리 사용되는 범용 쿼리 ...