데이터 및 머신러닝 플랫폼 아키텍처 설계

3장. 데이터 팀을 위한 설계

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

데이터 플랫폼을 설계할 때는 성능, 비용, 운영 오버헤드, 운영 우수성, 새로운 분석 및 ML 접근 방식의 통합 등 여러 가지 기술적 측면을 고려해야 합니다. 그러나 이러한 기술적 측면은 회사의 문화, 즉 새로운 기술을 도입하려면 직원들의 사고 모델과 업무 방식을 바꾸려는 의지가 필요하다는 점을 고려하지 않으면 무용지물이 될 수 있습니다. 명심해야 할 또 다른 중요한 측면은 기존 직원들이 현재 보유하고 있고 앞으로 습득해야 할 기술입니다. 어떤 경우에는 새로운 기술을 배우고 업무 방식을 바꾼 직원이 데이터 플랫폼이 도입되기 전의 역할과 다른 역할을 맡게 되는 경우도 있습니다.

이 장에서는 조직에서 이러한 사고 모델, 워크플로, 기술 능력 및 역할의 변화를 계획하고 조율하는 방법을 살펴봅니다. 모든 조직은 고유하므로 데이터 플랫폼을 구축하려면 조직 내 각 부서와 직원을 위한 세분화된 계획을 수립해야 합니다. 이 장에서는 다양한 유형의 조직에서 이러한 세분화된 계획이 어떤 모습일지 설명합니다.

데이터 처리 조직 분류

조직( )은 각자의 재능에 따라 다양한 전략을 채택하여 성공할 수 있습니다. 보편적인 "최선의" 접근 방식은 없습니다. 수비가 강한 스포츠 팀은 숙련된 공격수가 있는 팀의 공격을 따라 하려고 하지 말고 자신의 강점을 살려 수비에 집중해야 합니다. 마찬가지로, 조직에 강력한 데이터 분석가 팀이 있다면, 데이터 엔지니어로 가득 찬 조직으로 변신을 시도하기보다는 사람에 집중해야 합니다.

인력의 역량과 사용 사례의 복잡성에 따라 조직에 가장 적합한 전략을 결정하세요. 규모는 작지만 유능하고 비용이 많이 드는 데이터 엔지니어 그룹이 필요하신가요? 아니면 이미 존재하는 대규모의 데이터 분석가 인력을 활용하여 조치를 취할 수 있는 데이터를 보강하고 변환해야 할까요? 이러한 인력에게 얼마나 많은 도메인 지식이 필요할까요? 현재 인력을 대상으로 고부가가치 업무를 수행하도록 교육하는 것이 현실적일까요? 아니면 제너레이티브 AI 또는 코드가 필요 없는 도구에 투자하여 더 많은 인력이 이러한 기본 기술을 사용할 수 있도록 해야 할까요?

영업팀과 공장 현장의 인력 구성이 다를 수 있으므로 조직 내에서도 최적의 기술 접근 방식이 달라질 수 있습니다. 따라서 세분화된 계획에는 각 사업부에 가장 적합한 기술 접근 방식을 자세히 설명하는 것이 포함됩니다. 기술 측면에서도 표준 ETL (ETL 도구에 대한 프로그래밍 기술 필요)에 기반한 접근 방식과 ELT(보다 일반적인 SQL 기술 필요)에 기반한 최신 접근 방식 중에서 선택할 수 있습니다.

그림 3-1에 스케치된 전통적인 페르소나 가치 사슬( )을 생각해 보세요. 조직의 모든 데이터 사용자는 소규모의 전문 기술을 보유하고 있음을 알 수 있습니다. 조직에서 데이터 분석 팀의 범위를 늘리려면 데이터 엔지니어링 및 데이터 과학 팀의 규모를 확장하여 ...