fastai와 파이토치가 만나 꽃피운 딥러닝

262

2



fastai 애플리케이션 계층 이해하기

[0.5959, 0.4041],

[0.3661, 0.6339]])

소프트맥스는 시그모이드의 다중 범주 버전쯤으로 볼 수 있습니다. 범주가 둘 이상이고 각 범

주 확률의 합이

1

이 되어야 하는 상황에서는 언제나 사용할 수 있습니다. 그리고 단지 두 범주

만 있을 때도 일관성을 유지할 목적으로 많이 사용합니다. 모든 활성값이

0

~

1

사이이며 합하

면

1

이 되는 특성이 있는 함수를 직접 만들 수도 있습니다. 하지만 부드럽고 대칭적인 모양의

시그모이드 같은 함수를 만들기는 쉽지 않습니다. 또한 소프트맥스는 다음 절에서 다룰 손실

함수와도 함께 잘 작동합니다.

출력 활성이 세 개인 곰 분류 모델에 곰 이미지를 한 장 입력하면, [그림

5

-

3

]처럼 소프트맥스

가 계산됩니다.

그림

5-3

곰 분류기에 대한 소프트맥스의 예

이 함수가 실제로 하는 일은 무엇일까요? 지수 함수로 모든 숫자를 양수화하고 이들을 합한 값

으로 각 숫자를 나누면, 더했을 때

1

이 되는 숫자가 여럿 생깁니다. 지수 함수는 여러 활성값

중 하나가 다른 값보다 조금만 크더라도 그 값을 증폭시키는 좋은 속성이 있습니다. 증폭된다

는 말은 값이

1

에 가까워진다는 의미죠.

소프트맥스 함수가



하려는 일은 범주들 가운데 하나를 고르는 것입니다. 따라서 각 입 ...