AIエンジニアリング ―基盤モデルを用いたAIアプリケーション開発の基礎と実践

まえがき

ChatGPTが登場したとき、多くの同僚と同様に、私は驚きました。モデルの規模や能力に対してではありません。モデルを大きくすれば性能が向上することは、AIコミュニティでは10年以上前から広く知られていました。実際、2012年にAlexNetの著者たちは、画期的な論文（https://oreil.ly/XG3mv）の中で次のように述べています。「私たちのすべての実験は、より高速なGPUと大きなデータセットが利用可能になるのを待つだけで、結果を改善できることを示唆している」†1†2。

[†1] AlexNetの論文著者であるIlya Sutskeverは、後にOpenAIを共同創業し、GPTモデルでこの教訓を現実のものとしました。

[†2] 翻訳品質を評価するために言語モデルを使用した、2017年の私の小さなプロジェクト（https://x.com/chipro/status/937384141791698944）でさえ、“より良い言語モデルが必要”という結論に達しました。

驚いたのは、この能力の向上によって開かれたアプリケーションの数の多さです。モデルの品質の指標がわずかに向上しても、アプリケーションはほんの少し増えるだけだと思っていました。ところが実際には、新たな可能性の爆発的な増加をもたらしました。

これらの新しいAIの能力は、AIアプリケーションの需要を高めただけでなく、開発者の参入障壁も引き下げました。AIアプリケーションの構築は非常に簡単に始められるようになり、コードを1行も書かずにアプリケーションを構築することも可能になりました。この変化により、AIは専門分野から、誰もが利用できる強力な開発ツールへと変わりました。

今日のAI活用は目新しく見えますが、実際は以前から存在してきた技術の上に成り立っています。言語モデリングに関する論文は1950年代には発表されていました。検索拡張生成（RAG）アプリケーションは、検索技術に基づいて構築されています。この検索技術は、RAGという言葉が生まれるずっと以前から検索やレコメンドシステムを支えてきました。従来の機械学習アプリケーションをデプロイするためのベストプラクティス、体系的な実験、厳密な評価、より高速で低コストなモデルへの絶え間ない最適化は、基盤モデルベースのアプリケーションでもベストプラクティスとして通用します。 ...