PyTorch によるコーダーのための AI および ML

第4章 PyTorchでデータを使う PyTorchでデータを使う

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

本書の最初の3章では、 、API経由でバンドルされているFashion MNISTデータセットから、APIをダウンロードして前処理する必要があるZIPファイルとして提供されている画像ベースの "Horses or Humans "や "Dogs vs. Cats "データセットまで、様々なデータを使ってモデルを学習した。というわけで、モデルを訓練するためのデータを入手するには、さまざまな方法があることがお分かりいただけただろう。

しかし、多くの公開データセットでは、モデルのアーキテクチャを検討する前に、さまざまなドメイン固有のスキルを学ぶ必要がある。PyTorchドメインとtorch.utils.data.Datasets ネームスペースで利用可能なツールの背後にあるゴールは、データセットを利用しやすい方法で公開することで、データを取得してPyTorchフレンドリーなAPIに取り込むまでのすべての前処理ステップをあなたに代わって行うことだ。

PyTorchがFashion MNISTをどのように扱ったかは、第2章ですでに少し紹介した 。おさらいすると、データを取得するために必要なことはこれだけだ：

train_dataset = datasets.FashionMNIST(root='./data', train=True,
                             download=True, transform=transform)
 

このデータセットの場合、 、Fashion MNISTへの参照を含むデータセットオブジェクトを取得するために、torchvisionライブラリからのインポートも行った：

from torchvision import datasets

このデータセットがコンピュータ・ビジョン指向のデータセットであることを考えると、torchvisionライブラリにあるのは理にかなっている。

PyTorchには、同じ方法で読み込むことができる異なるデータタイプのデータセットが他にもたくさんある。以下のようなものがある：

構想

ファッションMNISTは前述の torchvisionライブラリにある。これは「画像分類」組み込みデータセットのひとつだが、画像検出、セグメンテーション、オプティカルフロー、ステレオマッチング、画像ペアリング、画像キャプション、ビデオ分類、ビデオ予測など、他のシナリオ用のデータセットもたくさんある。

テキスト

一般的なテキストデータセットはtorchtextライブラリで利用できる。ここでは紹介しきれないほどたくさんあるが、テキスト分類、言語モデリング、マシン翻訳、シーケンスタギング、質問と回答、教師なし学習などのリストがある。これらの詳細はPyTorchのドキュメントで発見できる。このライブラリはデータセットだけでなく、テキストを処理するときに使うヘルパー関数もたくさん持っている。

オーディオ

torchaudioライブラリには、 、音や音声のマシンラーニングシナリオで使えるデータセットが多数含まれている。詳細はPyTorchのドキュメントで発見できる。

すべてのデータセットはtorch.utils.data.Dataset, のサブクラスなので、このライブラリを見てよく理解することが重要だ。そうすることで、既存のデータセットを利用するだけでなく、自分で作成して他の人と共有することもできる。 ...