Cloud Data Lake

8장. 데이터에 기반한 미래를 위한 6가지 교훈

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

내일의 작은 변화가 어제의 많은 것을 보상할 수 있다는 것은 놀라운 일입니다.

존 구어

Cloud 데이터 레이크 아키텍처( )의 장점은 무한히 다양한 시나리오를 구현할 수 있다는 데 있습니다. 이전 챕터에서는 가장 일반적으로 사용되는 데이터 처리 패턴인 Spark 및 Hadoop 기반 기술에 대해 집중적으로 살펴보았습니다. 실시간 데이터에 대한 빠른 인사이트를 생성하는 실시간 스트림 처리와 데이터 레이크에 스마트 애플리케이션을 구축하는 고급 분석 시나리오와 같은 다른 측면도 빠르게 채택되고 있습니다. 이전 장에서 다룬 모든 개념과 프레임워크의 공통점은 Cloud 데이터 레이크의 설계 또는 구현의 모든 시점에서 선택할 수 있으며, 각 선택에는 비용, 복잡성, 유연성에 대한 절충안이 따른다는 것입니다. Cloud 데이터 레이크를 설계할 때 이러한 결정을 내릴 때 다음과 같은 질문이 생기는 것은 당연합니다:

• 올바른 선택을 했는지 어떻게 알 수 있나요?

• 조직이 성장하고 데이터 레이크의 시나리오도 늘어나는데, 어떻게 반복하고 혁신을 추진해야 할까요?

• 조직이 다음 요구 사항을 수집하고 해결할 수 있는 Agile 조직이 되려면 어떻게 해야 하나요?

• 글로벌 전략에 대해 생각하고 조직의 요구 사항을 앞서 나가려면 어떻게 해야 하나요?

이 장에서는 배운 교훈의 형식을 활용하여 조직의 데이터 가치를 실현하는 데 도움이 될 기술적, 문화적, 조직적 결정에 대해 생각해 볼 수 있는 구조를 제공합니다.

레슨 1: Cloud 데이터 레이크의 경우 '만약'과 '왜'가 아닌 '언제, 어떻게'에 집중하기

2022년 4월 현재 약 5백만 명( )이 매일 인터넷을 사용하고 있으며, 이 수치는 매년 4%씩 계속 증가하고 있습니다. 소셜 미디어의 등장, 스마트 기기와 같은 더 많은 연결 기기, 코로나19 팬데믹 기간 동안 원격 근무가 가속화되면서 데이터는 어디에나 존재하는 존재가 되었습니다. 이러한 데이터의 확산이 조직의 지능적인 의사결정을 위한 길을 열어주는 것은 당연한 일입니다. 다양한 산업 분야의 데이터 실무자 300명을 대상으로 한 인터뷰를 바탕으로 Molecula가 실시한 데이터 활용 현황 연구에 따르면, 조직에서 데이터의 가치를 압도적으로 인정하는 것으로 나타났습니다. 이 조사에 따르면 응답자의 96%는 조직이 데이터를 효과적으로 사용하고 있다고 답했으며, 70%는 데이터 전략이 없는 기업은 도태될 것이라고 답했습니다.

이 설문조사는 비즈니스 운영과 운영에 있어 데이터의 중요성을 강조할 뿐만 아니라 데이터에 투자하지 않을 때 발생할 수 있는 위험에 대한 명확한 신호를 제공합니다. 같은 설문조사에서 응답자의 22%만이 지난 2년 이내에 머신러닝 모델을 프로덕션에 배포했다고 답했으며, 지난 5년 이내에 머신러닝 모델을 프로덕션에 배포했다고 답한 응답자는 2%에 불과했습니다. ...