Cloud Data Lake

3장. 데이터 레이크의 설계 고려 사항

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

완벽을 두려워하지 마세요. 완벽에 도달할 수 없습니다.

살바도르 달리

1장과2장에서는 Cloud 데이터 레이크가 무엇인지, 그리고 Cloud에서 널리 사용되는 데이터 레이크 아키텍처가 무엇인지에 대해 살펴봤습니다. 처음 두 장의 정보는 Cloud 데이터 레이크 아키텍처 설계를 시작하기에 충분한 맥락을 제공합니다. 최소한 지우개 마커를 사용하여 Cloud 데이터 레이크 아키텍처의 구성 요소와 이들이 상호 작용하는 방식을 나타내는 블록 다이어그램을 스케치할 수 있어야 합니다.

이 장에서는 Cloud 데이터 레이크 아키텍처의 구현에 대해 자세히 살펴보겠습니다. 기억하시겠지만, Cloud 데이터 레이크 아키텍처는 엔드투엔드 솔루션으로 조립된 다양한 IaaS, PaaS, SaaS 제품으로 구성됩니다. 이러한 개별 서비스를 레고 블록으로, 솔루션을 레고 조각으로 구축하는 구조로 생각하면 됩니다. 요새를 만들 수도 있고 용이나 우주선을 만들 수도 있으며, 창의력(그리고 비즈니스 요구)에 따라 선택의 폭이 제한됩니다. 하지만 이 장에서 살펴볼 몇 가지 기본 사항을 이해해야 합니다.

의사 결정의 몇 가지 예를 설명하기 위해 Klodars Corporation을 계속 사용하겠습니다.

Cloud 데이터 레이크 인프라 설정하기

대부분의 Cloud 데이터 레이크 아키텍처는 두 가지 범주 중 하나에 속합니다:

• Cloud 데이터 레이크를 처음부터 새로 구축하려는 경우. 이전에 데이터 레이크 또는 데이터 웨어하우스를 구현한 경험이 없고 백지 상태에서 시작하려는 경우.

• 온프레미스 시스템이나 다른 Cloud 제공업체에서 Cloud로 데이터 레이크를 마이그레이션하려고 합니다. 이 경우, 이미 데이터 웨어하우스 또는 데이터 레이크와 같은 기존 구현이 있으며, 이를 Cloud로 이전할 것입니다.

Cloud로의 여정의 첫 단계는 두 경우 모두 거의 동일하게 유지됩니다. Cloud 제공업체를 선택하고, 서비스를 선택하고, 인프라를 설정합니다. Cloud에는 선택할 수 있는 다양한 서비스가 있으며, 각 서비스마다 강점과 기회가 있으므로 Cloud로 전환하기 전에 가장 먼저 기억해야 할 것은 이러한 전환에 있어 정해진 12단계 프로세스나 정답이 없다는 것입니다. 하지만 많은 고객과 함께 일하고 직접 Cloud 마이그레이션을 진행하면서 고객 여정을 다음과 같은 핵심 단계로 구성된 의사 결정 프레임워크로 압축해 보았습니다( 그림 3-1 참조):

1. 목표를 파악하세요.

2. 아키텍처와 결과물을 계획하세요.

3. Cloud 데이터 레이크를 처음부터 구현하거나 기존 시스템을 Cloud로 마이그레이션하여 구현하세요.

4. 운영 및 릴리스.

그림 3-1. Cloud 데이터 레이크 구현 계획을 위한 프레임워크

이러한 각 단계를 실제로 자세히 살펴보겠습니다.

목표 파악

1장에서 살펴보았듯이 데이터 레이크( ...