April 2020
Intermediate to advanced
552 pages
6h 13m
Japanese
Content preview from ゼロから作るDeep Learning ❸ ―フレームワーク編
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
ステップ60LSTMとデータローダ
前ステップでは、RNNを使って時系列データ（サイン波）の学習を行いました。ここでは、前ステップのコードに対して2つの改良を加えます。
1つ目は、時系列データ用の「データローダ」を作ることです。前ステップでは、1つのデータに対して（バッチサイズを1として）モデルの順伝播を行いました。ここでは時系列データ用のデータローダを使って、複数データからなるミニバッチに対して順伝播を行います。
2つ目の改良は、RNNレイヤの代わりにLSTMレイヤを使うことです。LSTMレイヤを使うと、より精度の高い認識が期待できます。最後に、その2つの改良を行った上で、もう一度サイン波の学習を行ってみます。
60.1 時系列データのためのデータローダ
前ステップでは、時系列データを先頭から順番に1つずつ（バッチサイズを1として）取り出しました。ここでは、複数のデータをミニバッチとしてまとめて学習を行わせます。そのために、専用のデータローダを作成します。
時系列データをミニバッチとしてまとめるには、データを与える開始位置を各バッチで“ズラす”ことが考えられます。たとえば、1000個の並びからなる時系列データがあり、サイズが2のミニバッチを作る場合を考えます。その場合、1つ目のサンプルデータは、時系列データの先頭（0番目）から順に取り出します。そして、2つ目のサンプルデータは、500番目のデータを開始位置として、そこから順に取り出します（開始位置を500だけズラします）。
以上の点を踏まえて、時系列データ用のデータローダを実装します。コードは次のようになります。
dezero/dataloaders.py
classSeqDataLoader(DataLoader):
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.