プログラミング文体練習 ―Pythonで学ぶ40のプログラミングスタイル

40章リカレント――回帰型ニューラルネットワークRecurrent

制約

• 入力は要素のシーケンスであり、出力はそのシーケンス内の特定パターンに依存する。
• 出力シーケンスの長さは、入力シーケンスの長さと同じ。
• 入力は、元のシーケンスから取り出した、サイズNのフレームの並びとして再編成される。ここで、Nはパターンを捉えるに足る十分な大きさを表す。
• フレームは、入力シーケンスをスライドさせて作成する。
• ニューラル機能は1つの単位として定義され、N回インスタンス化される。フレーム内の要素はそれぞれのインスタンスに同時に適用される。これらのインスタンスは連鎖し、出力が次のインスタンスに接続される。したがって各単位は2組の重みを持つ。1つは入力に対して、もう1つは前のインスタンスの出力に対して適用される。

プログラム

 1 from keras.models import Sequential
 2 from keras.layers import Dense, SimpleRNN
 3 import numpy as np
 4 import sys, os, string, random
 5
 6 characters = string.printable
 7 char_indices = dict((c, i) for i, c in enumerate(characters))
 8 indices_char = dict((i, c) for i, c in enumerate(characters)) ...