付録FDataVecの使用方法
Alex Black
DataVecは機械学習データを処理するためのライブラリです。DataVecは、機械学習パイプラインのETL——すなわち抽出(Extract)・加工(Transform)・ロード(Load)、それにベクトル化(vectorization)のコンポーネントを処理します。DataVecの目標は、生データを機械学習で使用可能なフォーマットとして準備しロードするのを簡単にすることです。DataVecには、単一マシンや分散(Apache Spark)アプリケーションの両方に対して、表(CSVファイルなど)、画像、および時系列のデータセットをロードするための機能が含まれています。
![]() |
|
ND4Jのベクトル生成とDataVec DataVecは、本書でここまで述べてきた、特徴量やラベルの作成にかかる多くの雑務を処理するためのものです。DataVecを使用することは、単一マシンやSpark上でのDL4Jのワークフローのベストプラクティスだと考えられます。 |
DataVecは大きく2つの機能カテゴリーを提供します。
- さまざまなフォーマットからデータをロードするための機能
- 共通するデータ加工操作(しばしばデータラングリング(data wrangling)やデータマンジング(data munging)などと呼ばれる)を実行するための機能
以降の節でこの2つの機能カテゴリーをそれぞれ説明します。
F.1 機械学習へのデータのロード方法
機械学習のデータは多種多様なフォーマットからなり、それらをロードするにはそれぞれ異なる要件とライブラリがあります。機械学習の実務では、データをロードするために一度限りのコードを書くことがままあります。これは時間の浪費であり、誤りを招きやすいことでもあります。DataVecはこれらの問題を2つの方法で緩和しようとしています。1つ目は一般的なユースケースに対するデータのロード機能を提供すること(例えば、画像やCSVデータの読み込み)、そして2つ目は、新たなデータフォーマットやデータソースを追加したいときに単純な抽象化のセットを提供することです。 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
![[注記]](/api/v2/epubs/urn:orm:book:9784873118802/files/images/note.png)