Scikit-LearnとPyTorchによる実践的マシン学習

第9章 人工ニューラルネットワーク入門 人工ニューラルネットワーク導入部

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

鳥は 、ゴボウはマジックテープに着想を得た。そして自然さは数え切れないほどの発明に着想を与えてきた。それならば、知的マシンの作り方のヒントを得るために脳のアーキテクチャに注目するのは理に適っているように思える。これは人工ニューラルネットワーク（ANN）を生み出した論理であり、私たちの脳に見られる生物学的ニューロンのネットワークから着想を得たマシン学習モデルである。しかし、飛行機は鳥からヒントを得たとはいえ、飛ぶために羽ばたく必要はない。同様に、ANNも生物学的なものとは徐々に大きく異なってきている。研究者の中には、創造性を生物学的にもっともらしいシステムに限定してしまわないよう、生物学的なアナロジーを完全にやめるべきだと主張する人さえいる（例えば、「ニューロン」ではなく「ユニット」と言うなど）。¹

ANNはディープラーニングの核心である。ANNは汎用性が高く、強力でスケーラブルであるため、何十億枚もの画像の分類（Google Imagesなど）、音声認識サービス（AppleのSiriやGoogle Assistantなど）やチャットボット（ChatGPTやClaudeなど）、毎日何億人ものユーザに最適な動画を推薦する（YouTubeなど）、タンパク質がどのように折り畳まれるかを学習する（DeepMindのAlphaFold）など、大規模で非常に複雑なマシン学習タスクに取り組むのに理想的である。

この章では人工ニューラルネットワークを紹介し、最初のANNアーキテクチャの簡単なツアーから始めて、今日多用されている多層パーセプトロン（MLP）に至る（他の多くのアーキテクチャは次の章で検討する）。この章では、Scikit-Learnを使って簡単なMLPを実装して足慣らしを行い、次の章では、ニューラルネット用のライブラリとしてより柔軟で効率的なPyTorchに切り替える。

さて、人工ニューラルネットワークの起源まで遡ろう。

生物学的ニューロンから人工ニューロンへ

神経生理学者ウォーレン・マッカロクと数学者ウォルター・ピッツによって1943年に初めて紹介された。彼らの画期的な論文²マッカロックとピッツは、"A Logical Calculus of Ideas Immanent in Nervous Activity（神経活動に内在するアイデアの論理計算）"という画期的な論文で、命題論理を用いて複雑な計算を行うために、動物の脳内で生物学的ニューロンがどのように協働するかという単純化された計算モデルを提示した。 これが最初の人工ニューラルネットワークアーキテクチャである。それ以来、多くのアーキテクチャが発明されてきた。

ANNの初期の成功により、我々はすぐに真に知能のあるマシンと会話できるようになるだろうという考えが広まった。1960年代、この約束が（少なくともしばらくの間は）達成されないことが明らかになると、資金は他へ飛び、ANNは長い冬を迎えた。1980年代初頭、新しいアーキテクチャが発明され、より優れたトレーニングテクニックが開発され、コネクショニズム（ ニューラルネットワーク研究）への関心が再燃した。しかし進歩は遅く、1990年代にはサポートベクターマシンなど、他の強力なマシン学習テクニックが発明されていた。これらのテクニックは、ANNよりも優れた結果と強力な理論的基礎を提供すると思われたため、ニューラルネットワークの研究は再び中断された。 ...