데이터 및 머신러닝 플랫폼 아키텍처 설계

4장. 마이그레이션 프레임워크

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

스타트업이 아닌 이상, 데이터 플랫폼을 처음부터 새로 구축하는 경우는 거의 없습니다. 대신, 레거시 시스템에서 데이터를 마이그레이션하여 새로운 데이터 플랫폼을 구축하게 됩니다. 이 장에서는 새로운 데이터 플랫폼으로 전환할 때 수행해야 하는 모든 작업인 마이그레이션() 프로세스에 대해 살펴보겠습니다. 먼저 데이터 플랫폼을 현대화할 때 따라야 할 개념적 모델과 가능한 프레임워크를 제시합니다. 그런 다음 조직이 솔루션의 전체 비용을 추정할 수 있는 방법을 검토합니다. 마이그레이션이 진행되는 동안에도 보안과 데이터 거버넌스를 확보하는 방법에 대해 논의할 것입니다. 마지막으로 스키마, 데이터 및 파이프라인 마이그레이션에 대해 논의합니다. 또한 지역별 용량, 네트워킹 및 데이터 전송 제약 조건에 대한 옵션에 대해서도 알아보세요.

데이터 워크플로우 현대화

마이그레이션 계획을 만들기 전에 마이그레이션을 하는 이유와 마이그레이션의 목표에 대한 포괄적인 비전을 가지고 있어야 합니다.

전체적 보기

데이터 현대화 전환은 총체적으로 고려해야 합니다. 이를 조감도 관점에서 살펴보면 세 가지 주요 요소를 확인할 수 있습니다:

비즈니스 성과

현대화 중인 워크플로 에 집중하고 이러한 워크플로가 창출하는 비즈니스 성과를 파악하세요. 이는 격차가 있는 부분과 기회가 있는 부분을 파악하는 데 매우 중요합니다. 기술 결정을 내리기 전에 경영진이 파악한 비즈니스 목표에 부합하는 사용 사례로 마이그레이션을 제한하세요(일반적으로 2~3년의 기간에 걸쳐).

이해관계자

잠재적으로 데이터에 액세스할 수 있는 사람 또는 역할(일부 팀은 아직 존재하지 않을 수 있음)을 식별합니다. 데이터 현대화의 목표는 데이터 액세스를 민주화하는 것입니다. 따라서 이러한 팀은 현대화 최종 단계에서 사용할 것으로 예상되는 도구(SQL, Python, 대시보드)에 대해 데이터 해독 능력을 갖추고 능숙하게 다룰 수 있어야 합니다.

기술

비즈니스 전략 및 팀 역량에 맞춰 데이터 아키텍처, 모델링, 스토리지, 보안, 통합, 운영성, 문서화, 참조 데이터, 품질 및 거버넌스를 정의, 구현 및 배포해야 합니다.

마이그레이션을 순수한 IT 또는 데이터 과학 프로젝트가 아니라 기술적인 측면이 더 큰 조직 변화의 하위 집합에 불과한 프로젝트로 취급하지 않도록 하세요.

워크플로 현대화

현대화 프로그램에 대해 생각할 때, 자연스럽게 현재 사용 중인 도구에서 겪고 있는 어려움을 떠올리게 됩니다. 데이터베이스를 업그레이드하여 전 세계적으로 일관성 있고 확장 가능한 데이터베이스로 만들고 싶어서 Spanner 또는 CockroachDB로 현대화하기로 결정했다고 가정해 보겠습니다. 스트리밍 엔진을 업그레이드하여 더 탄력적이고 실행하기 쉽게 만들고 싶다고 결정하여 Flink 또는 Dataflow를 선택합니다. DWH에서 클러스터와 쿼리 튜닝이 끝났다고 ...