book

Pythonではじめるオープンエンドな進化的アルゴリズム ―発散型の機械学習による多様な解の探索

by 岡瑞起, 齊藤拓己, 嶋田健志

October 2023

Intermediate to advanced

296 pages

4h 26m

Japanese

O'Reilly Japan, Inc.

Read now

Unlock full access

本書の構成Ⅰ部　基礎知識Ⅱ部　発散的な探索Ⅲ部　共進化による探索Ⅳ部　オープンエンドな探索のこれから対象読者環境とインストール方法PythonとAnacondaEvolution Gymサンプルプログラム本書の表記法連絡先オライリー学習プラットフォーム謝辞
1.1　人工知能の学習と目的関数の役割1.2　目的型探索の限界1.3　終わりなき探索：オープンエンドな探索の可能性1.4　コンピュータを用いたオープンエンドな探索の実現方法1.4.1　集団的探索の力：共同での解決策探求1.4.2　未知の開拓：目的に囚われすぎない探索1.4.3　多様性の確保：多角的な視点からの探索1.4.4　環境の活用：探索空間の拡張「進化」という言葉の意味1.5　まとめこの章で学んだこと
ゲノムや遺伝子に関連する用語2.1　NEATアルゴリズム2.1.1　遺伝的アルゴリズムの概要2.1.2　NEATアルゴリズムの概要2.2　NEATアルゴリズムの実装2.2.1　アルゴリズムの流れ2.3　XOR回路の実験2.3.1　ニューラルネットワーク（表現型）の初期構造2.3.2　サンプルプログラムの実装2.3.3　サンプルプログラムの実行2.4　迷路の実験2.4.1　迷路2.4.2　ロボット2.4.3　設定ファイル2.4.4　評価クラス2.4.5　評価関数2.4.6　実行2.4.7　サンプルプログラムの実行2.5　ロボットの実験2.5.1　ロボットの構造2.5.2　評価クラスと実行方法2.5.3　評価関数2.5.4　実行2.5.5　サンプルプログラムの実行2.6　CPPN2.6.1　CPPNの概要2.6.2　CPPNの利点2.6.3　CPPNアルゴリズムの実装2.7　CPPN-NEATアルゴリズム2.7.1　CPPNによる画像生成の仕組み2.7.2　Picbreeder2.7.3　CPPN-NEATによるロボット構造の進化2.8　CPPN-NEATアルゴリズムの実装2.8.1　アルゴリズムの流れ2.8.2　主なクラス2.8.3　実行2.8.4　サンプルプログラムの実行2.9　まとめこの章で学んだこと
3.1　新規性を追求する目的のない探索3.2　目的関数に基づくアプローチの限界3.3　新規性探索アルゴリズムのアプローチ3.4　二足歩行ロボットの実験3.5　新規性探索アルゴリズムと目的型探索の違い3.6　新規性探索アルゴリズムがうまくいく3つの理由3.6.1　理由1：現在と過去を比べることは簡単である3.6.2　理由2：単純な行動から複雑な行動へと進化していく3.6.3　理由3：思わぬ行動が目的達成の足がかりとなる3.7　新規性探索アルゴリズムの実装3.7.1　新規性計算モジュールの導入3.7.2　個体の行動データの取得3.7.3　アルゴリズムの流れ3.8　迷路タスク3.8.1　MazeControllerEvaluatorNSクラス3.8.2　実行3.8.3　サンプルプログラムの実行3.9　ロボットタスク3.9.1　EvogymControllerEvaluatorNSクラス3.9.2　実行3.9.3　サンプルプログラムの実行3.9.4　目的型探索との比較3.10　まとめこの章で学んだこと
4.1　生態学的ニッチと品質多様性アルゴリズム4.2　Map-Elitesアルゴリズム4.3　Map-Elitesアルゴリズムの応用事例4.3.1　ソフトロボットのデザインへの応用4.3.2　適応的なロボット設計への応用4.3.3　人間にも難しいゲームのクリア4.4　Map-Elitesアルゴリズムの実装4.4.1　アルゴリズムの流れ4.4.2　主なクラス4.4.3　行動記述子の設計4.4.4　実行4.4.5　サンプルプログラムの実行4.4.6　平らな地面を歩くタスク：Walker-v04.4.7　行動記述子を設定して実行する4.5　まとめこの章で学んだこと

5.1　共進化とは5.1.1　最小基準共進化アルゴリズム5.1.2　環境に制約を加える5.2　MCCアルゴリズムの実装5.2.1　アルゴリズムの流れ5.3　迷路実験5.3.1　ブートストラップ5.3.2　実行5.3.3　サンプルプログラムの実行5.4　まとめこの章で学んだこと
6.1　共進化：複雑で多様な環境への適応6.1.1　POETアルゴリズムの概要6.1.2　POETアルゴリズムがうまくいく理由6.2　POETアルゴリズムの実装6.2.1　アルゴリズムの流れ6.2.2　Evolution Gymでの実装6.3　サンプルプログラムの実行6.3.1　前に進むタスク：Parkour-v06.3.2　回転することに報酬が与えられるタスク：Parkour-v16.3.3　環境に関するパラメータ6.4　まとめこの章で学んだこと
7.1　生成モデルによるオープンエンドなアルゴリズムの新展開7.2　多様なゲームステージを生成する7.2.1　大規模言語モデルを利用したゲームステージの生成7.2.2　新規性探索アルゴリズムを活用した多様なステージ生成7.3　多様なエージェントを生成する　7.4　大規模言語モデルの可能性7.4.1　従来の遺伝子エンコーディングとランダムな突然変異の限界7.4.2　大規模言語モデルによるエンコーディングと賢い探索7.4.3　Picbreederによる人間との相互作用を取り入れたオープンエンドな探索7.4.4　現代版Picbreederとその進化7.5　オープンエンドなアルゴリズムのさらなる発展に向けて7.5.1　複数エージェントによる戦略の共進化7.6　さいごに7.7　まとめこの章で学んだこと
A.1　Evolution Gymと仮想世界のロボットA.2　ロボットの設計A.3　ロボットの観測値A.4　サンプルプログラムを実行するA.5　サンプルプログラムで提供しているロボットの構造A.6　結果を可視化する