February 2025
Intermediate
376 pages
9h 25m
Japanese
Content preview from 仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
2
分は
X
です。ここで、この問題を解くために必要なのは、
X
と
L
Q2
2
です。つまり、この問題
は
X
を計算するというサブ問題と、
L
Q2
2
を計算するというサブ問題に分解されます。
2.6.3
サブ問題の解く順序
ここまでで、依存関係が明らかになりました。
f
(
W
Q
)の勾配を計算するためには、
X
と
L
Q2
2
を先に計算する必要があります。
ここでまず、
X
について考えましょう。この値は損失関数の計算時に必要な値です。損失関
数を計算するときに
X
をどこかに保存しておけば、
X
を再利用することができます。これはメ
モ化（Memoization）に相当する考え方です。
次に、
L
Q2
2
について考えましょう。冒頭では
F
(
W
Q
)の勾配を計算するために、
F
(
W
Q
)を分
解して
f
(
W
Q
)と
g
(
Q
)に分けました。今度は、
g
(
Q
)の勾配を計算するために、
g
(
Q
)をさらに
分解して
g
(
Q
)を構成する各ブロックの勾配を計算する必要があります。これを繰り返すと、
最終的には最後のブロックの勾配を計算することになります。つまり、最後のブロックを最初
に計算する必要があるということです。最後のブロックの微分を解析的に計算することができ
れば、それを使ってその一つ前のブロックの勾配を計算できます。同様にしてさらにその一つ
前のブロックの勾配を計算し……というように、最初のブロックまで計算を進めていくこと
で、全体の勾配を計算することができます。
2.6.4
誤差逆伝播法のアルゴリズム
計算の依存関係を図 2.6.2 に示します。この図ではモデルが複数のブロックに分かれてお ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.