최종 출력으로 가는 계산의 중간에 덧셈 노드가 존재한다. 역전파에서는 국소적 미분이 가장 오른쪽의 출력
에서 시작하여 노드를 타고 역방향(왼쪽)으로 전파된다.
임의의 계산
임의의 계산
임의의 계산
이제 구체적인 예를 하나 살펴봅시다. 가령 ‘
10
+
5
=
15
’라는 계산이 있고, 상류에서
1
.
3
이라
는 값이 흘러옵니다. 이를 계산 그래프로 그리면 [그림
5
-
11
]처럼 됩니다.
그림
5-11
덧셈 노드 역전파의 구체적인 예
덧셈 노드 역전파는 입력 신호를 다음 노드로 출력할 뿐이므로 [그림
5
-
11
]처럼
1
.
3
을 그대로
다음 노드로 전달합니다.
5.3.2
곱셈 노드의 역전파
이어서 곱셈 노드의 역전파를 설명하겠습니다.
z
=
xy
라는 식을 생각해보죠. 이 식의 미분은
다음과 같습니다.
158
밑바닥부터 시작하는 딥러닝
2
z
2
x
2
z
2
y
=
y
=
x
[식 5.6]
[식
5
.
6
]에서 계산 그래프는 다음과 같이 그릴 수 있습니다.
그림
5-12
곱셈 노드의 역전파 : 왼쪽이 순전파, 오른쪽이 역전파다.
곱셈 노드 역전파는 상류의 값에 순전파 때의 입력 신호들을 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.