데이터 및 머신러닝 플랫폼 아키텍처 설계

5장. 데이터 레이크 설계

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

데이터 레이크( )는 조직 전체에서 관리되지 않는 원시 데이터를 캡처하고 Apache 에코시스템의 컴퓨팅 도구를 지원하는 데이터 플랫폼의 일부입니다. 이 장에서는 최신 데이터 플랫폼을 설계할 때 중요한 이 개념에 대해 자세히 살펴보겠습니다. 이 장 전체에서 읽게 될 것처럼 Cloud는 그 위에 구현할 수 있는 다양한 사용 사례를 향상시킬 수 있습니다.

먼저 기본 연산만 지원하는 관리되지 않는 원시 데이터를 저장해야 하는 이유에 대해 간략히 설명합니다. 그런 다음 Cloud에서의 아키텍처 설계 및 구현 세부 사항에 대해 설명합니다. 데이터 레이크는 원래 기본적인 데이터 처리만을 위한 것이었지만, 이제는 API와 커넥터를 통한 다른 솔루션과의 통합으로 데이터 레이크 내의 데이터를 훨씬 더 목적에 맞게 만들 수 있기 때문에 데이터 레이크만으로 데이터 액세스 및 보고를 대중화할 수 있습니다. 마지막으로 데이터 과학 노트북을 활용하여 조직 내에서 데이터 분석과 실험의 속도를 높이는 매우 일반적인 방법에 대해 조감도를 살펴보겠습니다.

데이터 레이크와 클라우드-완벽한 결합

데이터는 조직이 더 나은 의사 결정을 더 빠르게 내릴 수 있도록 도와줍니다. 데이터는 애플리케이션에서 보안에 이르기까지 모든 것의 중심이며, 데이터가 많을수록 처리 능력이 더 많이 필요하며, Cloud 솔루션이 이를 제공할 수 있습니다.

온프레미스 데이터 레이크의 과제

조직 은 비정형 데이터(이미지, 동영상, 텍스트, 로그, 바이너리 파일, 웹 콘텐츠)를 포함한 모든 유형의 데이터를 저장할 공간이 필요합니다. 이것이 바로 기업들이 데이터 레이크를 도입한 주된 이유입니다. 처음에 기업들은 데이터 레이크가 단순한 원시 스토리지에 불과하다고 생각했습니다.

비즈니스 부서는 단순히 데이터를 저장하는 것이 아니라 IT 부서에서 저장한 데이터에서 인사이트와 가치를 추출하기를 원했습니다. Hadoop 에코시스템의 발전 덕분에 데이터 레이크는 단순한 스토리지 오프로드 개념을 넘어 빅데이터 분석을 수행할 수 있는 조직을 가능하게 했습니다. 데이터 레이크는 고급 분석 및 ML 기능을 손쉽게 사용할 수 있게 해주었습니다. Hadoop 및 관련 기술은 2010년대 들어 데이터 레이크의 대규모 도입을 촉발시켰습니다.

그러나 기업들은 TCO, 확장성, 거버넌스, 민첩성 등의 단점으로 인해 데이터 레이크에 대한 충분한 투자 수익을 얻는데 어려움을 겪어왔습니다. 온프레미스 데이터 레이크를 관리하는 데 드는 리소스 사용률과 전체 비용은 감당하기 어려울 수 있습니다. 리소스 집약적인 데이터 및 분석 처리로 인해 SLA를 놓치는 경우가 많습니다. 데이터 거버넌스 및 보안 문제로 인해 규정 준수 문제가 발생할 수 있습니다. 리소스 프로비저닝에 필요한 시간으로 인해 분석 실험이 느려집니다.

2025년까지 조직 데이터의 80%가 비정형 데이터가 될 것으로 예상되는 ...