直感 Deep Learning ―Python×Kerasでアイデアを形にするレシピ

7章さまざまなディープラーニングのモデル

これまで、本書では分類を行うためのモデルを中心として見てきました。これらのモデルは、付与されたラベルを識別するために有用な入力データの特徴を学習し、未知のデータに対してもラベルが予測できるように訓練されます。またモデルの構造はとてもシンプルであり、入力から出力までが一本のパイプライン、KerasのSequential model APIで実装できる形となっていました。

本章では、パイプラインが必ずしも一本ではない、複雑なアーキテクチャに焦点を当てます。Kerasはそうしたアーキテクチャに対応できるfunctional APIという仕組みを提供しており、本章ではその使い方を学びます。なお、このAPIを利用して今までのようなパイプライン型のモデルを構築することも可能です。

分類問題以外のタスクとしてまず挙げられるのは、回帰問題です。分類と回帰は、教師あり学習における2つの大きな分野です。回帰問題ではカテゴリ（離散値）を予測するのではなく、連続値を予測します。ステートレスRNNとステートフルRNNについて解説したときに、回帰の例を取り上げたと思います。多くの回帰問題は分類問題のモデルを少し工夫することで解くことが可能です。本章では、大気中のベンゼンの濃度を予測するネットワークを構築してみます。

また別のタスクとして、ラベルの付与されていないデータからその構造を学習する手法を扱います。これは教師なし学習（あるいは自己学習）と呼ばれます。タスクは分類問題に似ていますが、分類区分（ラベル）をデータそのものの中から探し出す必要があります。私たちは、この種のモデルをすでに学んでいます。具体的には、単語分散表現の学習に使用されたCBOWとSkip-gramは教師なし学習のモデルです。本章で紹介する自己符号化器（autoencoder）もまたこのタイプのモデルであり、文のベクトル表現を学習する例からその仕組みを解説していきたいと思います。 ...