데이터 파이프라인 포켓 리퍼런스

6장. 데이터 변환

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

3장에서 정의한 ELT 패턴에서 데이터가 데이터 레이크 또는 데이터 웨어하우스에 수집되면(4장), 파이프라인의 다음 단계는 데이터 변환입니다. 데이터 변환에는 상황에 맞지 않는 데이터 조작과 비즈니스 컨텍스트와 논리를 염두에 둔 데이터 모델링이 모두 포함될 수 있습니다.

파이프라인의 목적이 비즈니스 인사이트나 분석을 생성하는 것이라면, 상황에 맞지 않는 변환 외에도 데이터가 데이터 모델로 추가 변환됩니다. 2장에서 데이터 모델은 데이터 분석을 위해 이해되고 최적화된 형식으로 데이터를 구조화하고 정의한다는 점을 기억하세요. 데이터 모델은 데이터 웨어하우스에서 하나 이상의 테이블로 표현됩니다.

데이터 엔지니어가 상황에 맞지 않는 변환을 파이프라인에서 구축하는 경우도 있지만, 데이터 분석가와 분석 엔지니어가 대부분의 데이터 변환을 처리하는 것이 일반화되었습니다. 이러한 역할을 하는 사람들은 필요한 데이터를 바로 웨어하우스에 가지고 있는 ELT 패턴과 SQL을 기본 언어로 설계된 지원 도구 및 프레임워크의 등장 덕분에 그 어느 때보다 더 많은 권한을 갖게 되었습니다.

이 장에서는 거의 모든 데이터 파이프라인에 공통적으로 적용되는 비문맥적 변환과 대시보드, 보고서 및 비즈니스 문제에 대한 일회성 분석을 지원하는 데이터 모델을 모두 살펴봅니다. SQL은 데이터 분석가 및 분석 엔지니어의 언어이므로 대부분의 변환 코드 샘플은 SQL로 작성되어 있습니다. 강력한 Python 라이브러리를 사용하여 상황에 맞지 않는 변환을 데이터 수집에 긴밀하게 결합하는 것이 합당한 경우를 설명하기 위해 Python으로 작성된 몇 가지 샘플을 포함했습니다.

4장과 5장의 데이터 수집과 마찬가지로, 코드 샘플은 매우 단순화되어 있으며 더 복잡한 변환을 위한 시작점으로 사용됩니다. 변환과 파이프라인의 다른 단계 간의 종속성을 실행하고 관리하는 방법을 알아보려면 8장을 참조하세요.

SQL 호환성

이 장의 SQL 쿼리는 대부분의 SQL 방언에서 실행되도록 설계되었습니다. 이러한 쿼리는 제한된 공급업체별 구문을 사용하며 SQL을 지원하는 모든 최신 데이터베이스에서 거의 또는 전혀 수정 없이 실행되어야 합니다.

비문맥적 변환

3장에서 소문자 t가 다음과 같은 일부 비문맥적 데이터 변환을 나타내는 EtLT 하위 패턴의 존재( )에 대해 간략하게 언급했습니다:

• 테이블의 레코드 중복 제거

• URL 매개변수를 개별 구성 요소로 구문 분석

수많은 예가 있지만 이러한 변환에 대한 코드 샘플을 제공함으로써 비문맥적 변환의 몇 가지 일반적인 패턴을 다루고자 합니다. 다음 섹션에서는 이러한 변환을 데이터 수집의 일부로 수행하는 것이 합당한 경우(EtLT)와 수집 후 수행하는 경우(ELT)에 대해 설명합니다.

테이블의 레코드 중복 제거

이상적이지는 않지만, 데이터 웨어하우스에 수집된 데이터 테이블에 중복 레코드가 존재할 수 있습니다. ...