詳説 Deep Learning ―実務者のためのアプローチ

9章Spark上でDL4Jを用いて機械学習を行う

10年の間旅を続け、夜のステージに立ってきた

俺の青春はあっと言う間に過ぎ去った

誰かもう一度教えてくれ、俺にもわかるように

ハンクは本当にこうしてきたのか？

あのハンク爺さんが本当にこうしてたのか？

—— Waylon Jennings, 『Are You Sure Hank Done It This Way』

9.1　DL4JをSparkやHadoopと併用する

ここ数年の間に現れたデータセンター向け技術で、キーとなるのがApache HadoopとApache Sparkです。特に、Hadoopはデータウェアハウスの成長と進化において中心的な役割を果たしています。SparkはMapReduceの後継として、Hadoop上で並列反復アルゴリズムを実行するフレームワークの主流になりました。

DL4JはSpark上でのネットワークの訓練をスケールアウトできます。Spark上でDL4Jを実行すると、ネットワークの訓練にかかる時間を大幅に短縮できます。また、入力のデータが増えたときの訓練時間の増加を軽減できます。

	クラウドへ AWS（Amazon Web Services）やGoogle Cloud、Microsoft Azureなどのプラットフォームを利用すると、オンデマンドでSparkのクラスターをセットアップできます。費用はわずか数ドルです。DL4Jはパブリックなクラウドインフラストラクチャーのほとんどで実行できるので、ディープラーニングのワークフローをどこでどのように実行するか柔軟に選択できます。 ...