Deep Learning 向けの PyTorch プログラミング

序文

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

世界におけるディープラーニングの現状

こんにちは、そしてようこそ！本書は、Facebookが2017年にリリースした社内オープンソースライブラリ、PyTorchを介したディープラーニングを紹介する。ここ数年、ダチョウのような格好で地面に頭を突っ込んでいたのでなければ、ニューラルネットワークが最近いたるところで使われていることに気づかずにはいられないだろう。ニューラルネットワークは、コンピュータ・サイエンスのクールな一端を学んだだけで、何もしない人々から、写真を改良したり、音声コマンドを聞き取ったりするために、毎日携帯電話に組み込まれて持ち歩かれるようになった。電子メールソフトは電子メールを読み取り、文脈に応じた返信を作成し、スピーカーは私たちのために耳を傾け、車は勝手に運転し、コンピューターはついに囲碁で人間を凌駕した。また、権威主義的な国々では、ニューラルネットワークに支えられた歩哨が群衆の中から顔を選び出し、逮捕すべきかどうかの判断を下すなど、より邪悪な目的のためにテクノロジーが使われているのを目にすることもある。

しかし、すべてがあっという間に起こったように感じられるにもかかわらず、ニューラルネットワークとディープラーニングの概念は、はるか昔にさかのぼる。このようなネットワークが、あらゆる数学的関数を近似的に置き換える方法として機能しうるという証明は、ニューラルネットワークがさまざまなタスクのために訓練できるという考えを支えるものであり、その歴史は1989年までさかのぼる、¹畳み込みニューラルネットワークは、90年代後半には小切手の数字を認識するのに使われていた。これまでずっと強固な基礎が積み重ねられてきたのに、なぜここ10年で爆発的に普及したように感じられるのだろうか？

理由はたくさんあるが、その最たるものは、グラフィカル・プロセッシング・ユニット（GPU）の性能の急上昇と、その手頃な価格の上昇だろう。もともとゲーム用に設計されたGPUは、ゲーム機やPCでプレイしているドライブゲームやシューティングゲームのすべてのポリゴンをレンダリングするために、1秒間に何百万もの行列演算を実行する必要がある。2009年の論文、Rajat Rainaらによる "Large-Scale Deep Unsupervised Learning Using Graphics Processors "では、ニューラルネットワークの学習もまた、大量の行列演算の実行に基づいていることが指摘されている。そのため、これらのアドオン・グラフィックス・カードを使用することで、学習を高速化し、より大規模で深いニューラルネットワーク・アーキテクチャを初めて実現可能にすることができる。また、 Dropout（第3章で説明する）のような他の重要なテクニックも、単に学習を高速化するだけでなく、学習をより一般化する方法として過去10年間に導入された（ネットワークが学習データを認識するように学習するのではなく、次の章で説明するオーバーフィッティングと呼ばれる問題に対処するため）。ここ数年、各社はこのGPUベースのアプローチを次のレベルへと進化させている。Googleは、 テンソル・プロセッシング・ユニット（TPU）と呼ばれる、ディープラーニングを可能な限り高速に実行するために特注されたデバイスを作成し、Google Cloudエコシステムの一部として一般利用も可能にしている。 ...