로우코드 AI

196

로우코드 AI

그림

6-29

단일 은닉 계층이 있는 신경망의 시각적 표현

이것은 단일 은닉 계층이 있는 신경망의 예입니다. 그렇다면 이러한 은닉 특징이 무엇인지 어

떻게 결정할까요? 어떻게

c

i

와

d

i

의 최적값을 찾을 수 있을까요? 신경망에 대한 정규방정식은

없지만, 전과 같은 방식으로 경사하강법을 활용할 수 있습니다! 다양한 조합을 시도하는 대신

c

i

와

d

i

를 선형 회귀 모델의 다른 가중치와 마찬가지로 설정하고 최적의 가중치를 찾도록 모델

을 학습시켜 볼 수 있습니다.

6.5.2

활성화 함수 및 비선형성

하지만 아직 한 조각이 퍼즐이 빠졌습니다. 간단한 수학 문제를 생각해 보죠.

f

(

x

)=

3

+

2x

와

g

(

x

)=

1

+

5x

를 가정했을 때

g

(

f

(

x

))는

무엇일까요? 두 함수의 결합을 계산하려면 안쪽 함수의

출력을 취한 다음, 이를 두 번째 함수에 연결합니다.

gfxg xxx(())( )()=+=+ +=[phone]

갑자기 이 문제를 제시한 이유가 뭘까요?

f

(

x

)와

g

(

x

)는

m x

+

b

형식을 따르는 선형 함수입니

다. 그리고

g

(

f

(

x

))도 동일한 형태의 선형 함수입니다. 우연이 아닙니다! 일반적으로 선형 함수

를 결합하면, 또 다른 선형 함수가 만들어집니다.

신경망과는 어떤 관련이 있을까요? 은닉 특징인

z

1

과

z

2

는

x

1

,

x

2

,

x

3

,

x