Amazon Redshift: 최종 가이드

3장. 데이터 모델 설정및 데이터 수집하기

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이제 Amazon Redshift 데이터 웨어하우스를 설정했으니 데이터 관리 전략을 고려해 보겠습니다.

이 장에서는 데이터 관리 전략에 대한 몇 가지 옵션과 '데이터 레이크 우선 전략 대 데이터 웨어하우스 우선 전략'을 사용해야 하는지 여부에 대해 논의합니다. 다음으로, '데이터 모델 정의하기' 로 이동하여 '학생 정보 학습 분석 데이터 세트' 를 사용해 테이블을 만드는 방법과 Amazon S3에서 이 데이터의 샘플을 사용해 '배치 데이터를 Amazon Redshift로 로드'하는 방법을 설명합니다. 그러나 인사이트를 얻는 속도가 경쟁 우위를 유지하는 데 매우 중요한 오늘날에는 '실시간 및 실시간에 가까운 데이터 로드' 방법도 보여드릴 것입니다 . 마지막으로, "데이터 구조 최적화"를 하는 방법을 다룹니다.

데이터 레이크 우선 전략 대 데이터 웨어하우스 우선 전략

오늘날의 디지털 시대에 조직은 지속적으로 대량의 데이터를 수집하고 생성하고 있습니다. 이러한 데이터는 사용자 상호 작용, 센서 판독값, 소셜 미디어 활동 등 다양한 출처에서 비롯될 수 있습니다. 이러한 데이터를 효과적으로 관리하는 것은 조직이 인사이트를 얻고 정보에 입각한 비즈니스 의사결정을 내리는 데 매우 중요합니다. 이러한 데이터를 관리할 때 가장 중요한 과제 중 하나는 적절한 데이터 관리 전략을 결정하는 것입니다. 조직에서 많이 사용하는 두 가지 전략은 데이터 레이크 우선 전략과 데이터 웨어하우스 우선 전략입니다. 온프레미스 데이터 웨어하우스를 마이그레이션하든, 새로운 데이터를 로드하든, Cloud 기반 데이터 관리 전략을 고려할 때 데이터 레이크 우선 전략을 취할지, 아니면 데이터 웨어하우스 우선 전략을 취할지 고려해야 할 질문이 있습니다.

데이터 레이크 우선 전략

데이터 레이크의 첫 번째 전략은 구조나 형식에 관계없이 모든 원시 데이터를 위한 중앙 집중식 리포지토리( )를 만드는 것입니다. 이 데이터 레이크는 일반적으로 Amazon S3와 같은 확장 가능한 스토리지 플랫폼에 구축되며 대량의 데이터를 처리하도록 설계됩니다. 그런 다음 데이터는 원시 형태로 데이터 레이크에 수집되며, 데이터 과학자, 분석가 및 기타 이해관계자는 다양한 데이터 처리 및 분석 도구를 사용해 데이터에서 인사이트를 추출할 수 있습니다.

데이터 레이크 우선 전략의 주요 장점 중 하나는 유연성과 확장성을 제공한다는 점입니다. 조직은 새로운 데이터 소스를 쉽게 수집할 수 있으며, 데이터 레이크는 대량의 데이터를 처리할 수 있도록 확장할 수 있습니다. 또한 원시 데이터를 변환되지 않은 형식으로 유지하면 보다 정확한 인사이트를 얻을 수 있고 데이터 무결성과 데이터 계보를 보존할 수 있습니다.

그러나 데이터 레이크 우선 전략의 주요 단점 중 하나는 데이터를 효과적으로 관리하고 통제하기 어려울 수 있다는 점입니다. 성능을 위해 버킷과 ...