Cloud Data Lake

4장. 확장 가능한 데이터 레이크

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

사물을 바라보는 방식을 바꾸면 보는 대상도 바뀝니다.

웨인 다이어

처음 세 챕터( )를 읽고 나면 조직에 맞는 합리적인 비용으로 데이터 레이크 아키텍처를 Cloud에서 실행하는 데 필요한 모든 것을 갖추게 됩니다. 이론적으로는 프로덕션 환경에서 성공적으로 실행되는 첫 번째 사용 사례 및 시나리오 세트도 갖추게 됩니다. 데이터 레이크가 매우 성공적이어서 이제 더 많은 시나리오에 대한 수요가 증가하고 있으며, 새로운 고객의 요구 사항을 충족하느라 바쁘게 움직이고 있습니다. 비즈니스는 호황을 누리고 있고 데이터 자산은 빠르게 성장하고 있습니다. 비즈니스에서 말하는 것처럼 0에서 1로 가는 것은 1에서 100으로, 100에서 1,000으로 가는 것과는 다른 도전입니다. 데이터와 사용 사례가 증가함에 따라 설계도 확장 가능하고 성능을 계속 유지하려면 데이터 레이크의 규모와 성능에 영향을 미치는 다양한 요인을 파악하는 것이 중요합니다. 일반적인 생각과는 달리, 규모와 성능이 항상 비용과 상충되는 것은 아니지만, 이 둘은 매우 밀접하게 연관되어 있습니다. 이 장에서는 이러한 고려 사항과 규모에 맞게 데이터 레이크를 최적화하는 동시에 비용을 최적화하는 전략을 자세히 살펴보겠습니다. 다시 한 번 가상의 조직인 Klodars Corporation을 예로 들어 전략을 설명하겠습니다. 5장에서는 이러한 기본 사항을 바탕으로 성능에 초점을 맞춰 설명하겠습니다.

확장성 살펴보기

규모와 성능은 제품 홍보물과 마케팅 자료에서 많이 보셨을 용어입니다. 실제로 이 용어들은 무엇을 의미하며 왜 중요한 것일까요? 이를 더 잘 이해하기 위해 먼저 확장성의 정의를 살펴보겠습니다. 5장에서는 성능 측면에 대해 자세히 살펴보겠습니다.

확장성이란 무엇인가요?

제가 지금까지 접한 확장성에 대한 최고의 정의는 Werner Vogels의 블로그에서 나온 것입니다. 보겔스는 지구상에서 가장 큰 하이퍼스케일 시스템 중 하나를 호스팅하는 Amazon의 CTO였습니다. 그의 블로그에 따르면 확장성의 정의는 다음과 같습니다:

시스템에서 리소스를 늘릴 때 추가된 리소스에 비례하여 성능이 향상되는 서비스를 확장성이 있는 서비스라고 합니다. 이중화를 위해 리소스를 추가해도 성능 저하가 발생하지 않는 경우 상시 가동 서비스를 확장성이 있다고 합니다.

이러한 확장성 개념은 매우 중요한데, 요구와 사용량이 증가함에 따라 성능 저하 없이 고객에게 동일한 경험을 보장할 수 있는 아키텍처를 갖추는 것이 중요하기 때문입니다. 이를 더 잘 설명하기 위해 우리 모두가 공감할 수 있는 샌드위치 만들기에 규모의 원칙을 적용해 보겠습니다.

일상 생활에서의 확장성

확장성이 실제로 어떻게 적용되는지 예를 들어 보겠습니다. 그림 4-1과 같이 점심으로 땅콩버터와 젤리 샌드위치 하나를 포장하는 데 총 5분이 걸리며, 다음 단계로 구성되어 있다고 가정해 ...