Amazon Redshift: 최종 가이드

4장. 데이터 혁신 전략

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

Forbes에서 최근 발표한 보고서 ( )는 일부 증권사와 트레이딩 회사가 어떻게 경쟁사보다 빠르게 데이터에 액세스하고 분석할 수 있었는지 설명합니다. 이를 통해 이들은 '다른 사람들보다 몇 마이크로초 앞서 최적의 가격으로 거래를 체결'할 수 있었습니다. 시간적인 측면에서는 아주 작은 승리였지만, 인사이트에 대한 속도에서 얻은 경쟁 우위라는 측면에서는 엄청난 승리였습니다."

분석 솔루션을 고려할 때 인사이트를 얻는 속도가 중요하며, 조직이 데이터의 변화에 더 빨리 대응할 수 있을수록 경쟁력을 높일 수 있습니다. 필요한 인사이트를 얻으려면 데이터를 변환해야 하는 경우가 많습니다. 3장, '데이터 모델 설정및 데이터 수집'에서 간략하게 설명한 대로, 소스 데이터를 읽고 외부 애플리케이션에서 변환을 처리한 다음 결과를 로드하는 ETL 접근 방식을 사용하거나, 방금 로드한 데이터를 사용하고 Amazon Redshift 컴퓨팅의 성능을 사용해 데이터를 제자리에서 변환하는 ELT 접근 방식을 사용할 수 있습니다.

이 장에서는 데이터 웨어하우스를 구축할 때 어떤 데이터 로딩 전략을 사용할지 결정하는 데 도움이 되는 'ELT와 ETL 전략 비교' 부터 시작하겠습니다. 또한 분석 사용 사례를 위해 구축되어 '데이터베이스 내 변환'을 강화하는 Redshift의 몇 가지 고유 기능과 내장된 '예약 및 오케스트레이션' 기능을 활용하여 파이프라인을 실행하는 방법에 대해 자세히 살펴봅니다. 그런 다음, Redshift에 로드되지 않은 데이터라도 '모든 데이터에 액세스' 할 수 있게 함으로써 Amazon Redshift가 어떻게 ELT 전략을 한층 더 발전시키는지에 대해 다룹니다. 마지막으로, "외부 변환" 전략을 사용하는 것이 합당한 경우와 AWS Glue Studio를 사용해 ETL 파이프라인을 구축하는 방법에 대해 다룹니다.

ELT와 ETL 전략 비교

ELT 또는 ETL 전략에 관계없이 각각은 일반적으로 보고 데이터 모델에 로드하기 위해 데이터를 정리, 변환 및 집계하는 데이터 관리 플랫폼의 공통 목표를 지원할 수 있습니다. 이러한 작업은 모두 리소스 집약적인 작업이며, 두 전략의 주요 차이점은 처리가 이루어지는 위치가 ETL 서버의 컴퓨팅 또는 데이터 웨어하우스 플랫폼의 컴퓨팅이라는 점입니다. ETL 프로세스에는 여러 소스에서 데이터를 읽고 ETL 엔진의 기능과 기능을 사용해 데이터를 변환하는 작업이 포함됩니다. 이와 대조적으로, ELT 프로세스에는 다양한 소스에서 데이터를 추출하지만 먼저 데이터 웨어하우스에 데이터를 로드하는 단계도 포함됩니다. 변환 단계는 익숙한 SQL 시맨틱을 사용하여 데이터를 로드한 후에 수행됩니다. 둘 중 하나를 선택할 때 고려해야 할 몇 가지 사항은 다음과 같습니다:

성능 및 확장성

ETL 프로세스는 ETL 서버의 리소스에 따라 달라지며, 플랫폼 소유자가 환경을 올바르게 ...