신뢰할 수 있는 머신러닝

15장. 사례 연구: 실무에서의 MLOps

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이 책에서는 MLOps에 대한 원칙과 모범 사례를 제시했으며, 곳곳에 예시를 제공하기 위해 최선을 다했습니다. 하지만 이러한 원칙이 실제 환경에서 어떻게 적용되는지 확인하려면 현업에서 일하는 사람들의 이야기를 듣는 것만큼 좋은 것은 없습니다.

이 장에서는 다양한 실무자 그룹의 사례 연구를 제공하며, 각 사례는 MLOps 관점에서 겪은 특정 문제, 도전 과제 또는 위기를 자세히 설명합니다. 각 사례는 실무자가 직접 작성한 것이므로 그들이 겪은 일을 직접 들을 수 있습니다. 어떤 문제에 직면했고, 어떻게 대처했으며, 무엇을 배웠고, 다음에는 어떻게 다르게 대처할 수 있을지 알 수 있습니다. 실제로 부하 테스트처럼 놀라울 정도로 간단한 일이나 완전히 다른 모바일 앱의 업데이트 출시처럼 전혀 관련이 없어 보이는 일이 ML 모델과 시스템의 일상적인 관리와 공급을 담당하는 사람들에게 얼마나 골칫거리가 될 수 있는지 알게 되면 놀라움을 금치 못합니다. (영업 비밀을 보호하기 위해 일부 세부 사항은 가감하거나 생략했을 수 있습니다.)

1. ML 파이프라인에서 개인정보 보호 및 데이터 보존 정책 수용하기

By 리창 왕, 다이얼패드

배경

Dialpad의 자동 음성 인식(ASR) 팀은 전 세계 고객을 위해 다양한 AI 기능(통칭 Dialpad AI)에 대한 실시간 트랜스크립트를 생성하는 엔드투엔드 음성 전사 시스템을 담당하고 있습니다. AI 시스템의 다양한 하위 구성 요소는 추가 예측을 위해 ASR 출력에 크게 의존하므로, 트랜스크립트 의 모든 오류는 실시간 어시스트 또는 명명된 개체 인식(NER)과 같은 다른 다운스트림 자연어 처리(NLP) 작업으로 전파됩니다. 따라서 저희는 ML 파이프라인의 ASR 모델을 지속적으로 개선하고자 노력하고 있습니다.

문제 및 해결 방법

2020년에 저희 시스템은 일반적인 북미 방언에 대해 뛰어난 정확도를 달성하고 있었지만, 벤치마킹과 일화 증거를 통해 다른 방언은 종종 오타가 발생한다는 사실을 알게 되었습니다. 영국, 호주, 뉴질랜드와 같은 다른 주요 영어권 국가로 사업을 확장하면서 최소한 북미 방언에 대해서는 동일한 기준에 도달해야 했습니다. 따라서 특정 방언, 나아가 북미 내 수많은 방언에 대한 ASR 정확도를 개선하는 방법을 연구하기 시작했습니다. 여기에는 전이 학습 실험과 전문 사전 사용이 포함되었지만 그 자체만으로는 충분하지 않았습니다. 개인 정보 보호는 Dialpad에서 하는 모든 일의 중심에 있으며, 이는 대부분의 최신 ML 생태계에서 주요 과제이기도 합니다. 이 사례 연구에서는 사용자 개인 정보를 존중하면서 여러 방언을 위한 모델을 배포하기 위해 노력하면서 직면한 몇 가지 과제와 구현한 솔루션에 대해 설명합니다.

참고

관련 문헌에서 벗어나 악센트 대신 방언이라는 용어를 주로 사용하는 이유는 악센트(즉, 말소리) 이외의 변형을 ...