
260
개발자를 위한 필수 수학
출력 노드에서도 동일한 작업을 반복합니다. 은닉 층에서 가중치를 곱하고 더하여 얻은 결과를
가져와서 마지막 층에 입력하면 다른 가중치와 편향이 적용됩니다.
간단히 말해서 선형 회귀 또는 로지스틱 회귀와 같은 구조이지만, 풀어야 할 파라미터가 더 많
습니다. 가중치와 편향은 선형 회귀의
m
과
b
, 또는
β
1
그리고
β
0
과 비슷합니다. 확률적 경사 하
강법을 사용하고 선형 회귀와 마찬가지로 손실을 최소화하지만, 가중치
W
i
와 편향
B
i
를 찾기
위해 역전파
backpropagation
라는 추가 도구가 필요합니다. 그리고 연쇄 법칙을 사용해 편도함수를
계산합니다. 이 장의 뒷부분에서 이에 대해 다루겠지만, 지금은 가중치와 편향값이 최적화되었
다고 가정합니다. 먼저 활성화 함수에 대해 알아봅시다.
7.2.1
활성화 함수
활성화 함수
는 노드에서 가중치를 곱해 더한 값을 변환하거나 압축하는 비선형 함수입니다. 신경
망이 데이터를 효과적으로 분리해 분류 작업을 수행할 수 있도록 돕습니다. [그림
7
-
5
]를 살펴보
죠. 활성화 함수가 없다면 은닉 층의 성능이 떨어지고 하나의 선형 회귀보다 더 낫지 않습니다.
그림
7-5
활성화 함수 적용하기
출력
가중치를
곱하고 더하는
연산을 반복
렐루 함수 로지스틱 함수