効果的なマシンラーニングチーム

第1章. MLソリューション提供の課題とベターパス

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

最も危険な種類の廃棄物は、私たちが認識していない廃棄物である。

トヨタ本番システムの第一人者、新郷重雄氏

直面したことのすべてが変えられるわけではないが、直面するまでは何も変えることはできない。

ジェームズ・ボールドウィン（作家、劇作家

多くの個人 、組織は大きな希望を持って機械学習（ML）の旅を始める。しかし、多くのML実践者の実体験は、MLソリューションを提供する旅は罠や回り道、時には乗り越えられない障壁に満ちていることを教えてくれる。データサイエンスは21世紀で最もセクシーな仕事である、という誇大広告や華やかな宣伝文句を一皮むけば、ML実践者はしばしば、負担の大きい手作業、生産現場での消火活動、チームのサイロ化、扱いにくく、もろく、複雑なソリューションに埋もれてしまう。

このことは、チームが顧客に価値を提供することを妨げ、あるいは妨げさえし、AIに対する組織の投資と野心を挫折させる。ハイプ・サイクルがそうであるように、多くは膨らんだ期待のピークを過ぎ、幻滅の谷に不時着する。高業績のMLチームが生産性のプラトーに到達するのを目の当たりにし、我々はそこに到達できるのだろうかと思うかもしれない。

学術、データサイエンス、MLエンジニアリング、プロダクトマネジメント、ソフトウエアエンジニアリングなど、あなたのバックグラウンドに関係なく、MLを含む製品やシステムを構築する場合、この章で述べるような課題に直面することは避けられない。本章は、ML対応製品の構築と提供における我々の経験、そして他の人々の経験を抽出する試みである。これらの原則、プラクティスが、あなたが不必要な落とし穴を避け、より信頼できる道を発見する助けとなることを願っている。

この章では、現実の世界におけるMLの期待と失望の二重の現実を認識することから始める。そして、MLプロジェクトが失敗する原因となるハイレベルな課題と日々の課題を検証する。そして、リーンデリバリー、プロダクトシンキング、アジャイルエンジニアリングの原則、プラクティスに基づいて、より良いパスを概説する。最後に、これらのプラクティスがGenerative AI製品や大規模言語モデル（LLM）アプリケーションを提供するチームに、特に関連する理由について簡単に述べる。この章は、本書の残りの部分の縮図であると考えていただきたい。

ML：約束と失望

本セクションでは、MLへの投資と関心が継続的に高まっていることを示す証拠を見てから、こうした投資のリターンを妨げるエンジニアリング、製品、デリバリのボトルネックについて深く掘り下げていく。

MLへの楽観的な見方が続いている

誇大広告やハイプ・サイクル上の個々の座標はひとまず置いておくとして、MLは現実世界の問題を解決するための多くのテクニックを提供する、進歩の早い分野であり続けている。スタンフォード大学の「AI Index Report 2022」によると、2021年のAIへの世界の民間投資は総額約940億ドルで、これはCOVID-19パンデミック前の2019年の民間投資合計の2倍以上である。マッキンゼーの「2021年におけるAIの現状」調査によると、AIの導入は着実な増加を続けており、全回答者の56％が少なくとも1つの関数でAIの導入を報告しており、2020年の50％から増加している。

スタンフォード大学の報告書はまた、企業が医療、小売、製造、金融サービスなど幅広い分野にわたって、自然言語理解、コンピューター構想、強化学習など、多様なMLテクニックの応用に投資を続けていることも明らかにした。雇用とスキルの観点からは、スタンフォード大学が2010年以降の数百万件の求人情報を分析した結果、ML能力に対する需要は、COVID-19のパンデミック（世界的大流行）を経ても、またそれ以降も、過去10年間で前年比着実に増加していることが示された。 ...