機械学習による実用アプリケーション構築 ―事例を通じて学ぶ、設計から本番稼働までのプロセス

2章計画の作成

前の章では、MLが必要かどうかを推定し、MLが最も適切に利用できる場所を見つけ、製品目標を最も適切なMLのフレームワークに変換する方法について説明しました。この章では、MLと製品の進捗状況を追跡し、異なるMLの実装を比較するためのメトリクスについて説明します。そして、ベースラインを構築する方法を特定し、モデリングの反復を計画します。

残念なことに、多くのMLプロジェクトでは製品メトリクスとモデルメトリクスが整合していないことにより、初めから失敗に追い込まれていくのを、筆者は何度も目の当たりにしてきました。モデリングの難しさが原因というよりも、うまく機能するけれども製品にとって役に立たないモデルを作成することで、多くのプロジェクトは失敗しています。これが、メトリクスと計画のための章を用意した理由です。

既存のリソースや問題の制約条件を活用して、実行可能な計画を構築するためのヒントを取り上げます。これにより、MLプロジェクトが大幅に簡素化されます。

まず、パフォーマンスメトリクスの定義から始めましょう。

2.1　成功度合いの測定

MLの場合、最初に構築するモデルは、製品の要求に対応できるものの中で最もシンプルなモデルでなければなりません。結果を生成して分析することが、MLを進歩させる最も早い方法だからです。前の章では、MLエディタに対して複雑さの異なる3つのアプローチを取り上げました。

ベースラインモデル：ドメイン知識に基づくヒューリスティック設計

まず、適切に記述されたコンテンツを作成するための事前知識に基づき、自分で定義したルールから始めます。このルールをテストして、良い質問と良くない質問を区別するのに役立つかどうかを確認します。

良い質問と良くない質問を分類し、分類器を使用して提案を生成 ...