機械学習による実用アプリケーション構築 ―事例を通じて学ぶ、設計から本番稼働までのプロセス

5章モデルの学習と評価

前の章では、取り組むべき適切な問題を特定し、それに取り組む計画を立て、簡単なパイプラインを構築し、データセットを探索し、最初の特徴量を生成する方法を説明しました。この手順により、適切なモデルの学習を開始するのに十分な情報を収集できました。ここで言う適切なモデルとは、目前の課題によく適合し、適切に機能する可能性が高いモデルを意味します。

この章では、モデルを選択する際の懸念事項について簡単に説明します。次に、モデルを評価するのに役立つデータを、現実的な条件で分離するためのベストプラクティスについて説明します。最後に、モデリングの結果を分析し、エラーを診断する方法を取り上げます。

5.1　最も単純で適切なモデル

モデルの学習を行う準備ができたので、どのモデルを最初に使用するかを決める必要があります。可能なモデルをすべて試し、すべてのモデルのベンチマークを行い、いくつかのメトリクスに基づいて、テストセットで最も良い結果が得られたモデルを選ぶのが良いかもしれません。

しかし一般的に、これは最良のアプローチではありません。計算量が多いだけでなく（対象となるモデルが多数あり、各モデルには多くのパラメータがあるので、現実的にテストできるのは一部のサブセットのみです）、モデルを予測を行うブラックボックスとして扱い、MLモデルが学習を行う中でデータの暗黙の仮定を学び取ることを完全に無視しています。

モデルによってデータの仮定が異なるため、それぞれのデータにはそれぞれに適した目的があります。さらに、MLは反復的であるため、素早く構築して評価できるモデルを選択する必要があります。

最初に、単純なモデルを見分ける方法を定義しましょう。次に、データパターンの例と、それを活用するための適切なモデルについて説明します。 ...