데이터 파이프라인 포켓 리퍼런스

데이터 파이프라인은 데이터 분석의 성공을 위한 기반입니다. 다양한 출처에서 데이터를 이동시키고 변환하여 맥락을 제공하는 것은 단순히 데이터를 보유하는 것과 실제로 가치를 창출하는 것의 차이를 만듭니다. 이 포켓 리퍼런스는 데이터 파이프라인을 정의하고 현대적인 데이터 스택에서 어떻게 작동하는지 설명합니다.

파이프라인을 구현할 때 고려해야 할 일반적인 사항과 주요 결정 포인트를 배우게 됩니다. 예를 들어 배치 versus 스트리밍 데이터 수집, 자체 개발 versus 구매 등입니다. 이 책은 데이터 전문가들이 가장 자주 내리는 결정을 다루며, 오픈 소스 프레임워크, 상용 제품, 자체 개발 솔루션에 적용되는 기본 개념을 논의합니다.

배울 내용:

• 데이터 파이프라인이란 무엇이며 어떻게 작동하는지
• 클라우드 플랫폼을 포함한 최신 데이터 인프라에서 데이터가 이동 및 처리되는 방법
• 데이터 엔지니어가 파이프라인을 구축하기 위해 사용하는 일반적인 도구와 제품
• 파이프라인이 분석 및 보고 요구사항을 지원하는 방법
• 파이프라인 유지보수, 테스트, 알림에 대한 고려 사항