핸즈온 머신러닝: 사이킷런과 텐서플로를 활용한 머신러닝, 딥러닝 실무

609

부록 A

연습문제 정답

10

장

:

인공 신경망 소개

1

.

)()( BABABA ∧¬∨¬∧=⊕

일 때

BA ⊕

를 계산하는 초창기 인공 뉴런 기반의 신경망

은 아래 그림과 같습니다. 다른 방법도 있습니다. 예를 들어

)()( BABABA ∧¬∧∨=⊕

또는

)()( BABABA ∧∨¬∧∨=⊕

등을 사용합니다.

6

2

.

고전적인 퍼셉트론은 데이터셋이 선형적으로 구분될 때만 수렴하고 클래스 확률을 추정할

수 없습니다. 이와는 반대로 로지스틱 회귀 분류기는 데이터셋이 선형적으로 구분되지 못

해도 좋은 솔루션으로 수렴하고 클래스 확률을 출력합니다. 퍼셉트론의 활성화 함수를 로

지스틱 활성화 함수로 (또는 여러 개의 뉴런일 경우 소프트맥스 활성화 함수로 ) 바꾸고,

경사 하강법을 사용하여 (또는 크로스 엔트로피 같은 비용 함수를 최소화하는 다른 최적화

알고리즘을 사용하여 ) 훈련시키면 로지스틱 회귀 분류기와 동일하게 됩니다.

3

.

로지스틱 활성화 함수의 도함수는 어디에서나

0

이 아니어서 경사 하강법이 항상 경사를

따라 이동할 수 있으므로 초창기

MLP

의 핵심 요소였습니다. 활성화 함수가 계단 함수일

때는 경사가 없기 때문에 경사 하강법이 이동할 수 없습니다.

4

.

계단 함수, 로지스틱 함수, 하이퍼볼릭 탄젠트,

ReLU

(그림

10

-

8

).

ELU

와