안전한 인공지능 시스템을 위한 심층 신경망 강화

63

3

장

심층 신경망

그림

3-8

경사 하강법을 사용해 신경망의 매개변수를 조정함으로써 훈련 중 비용, 즉 손실을 최소화합니다.

심층 신경망 훈련 단계 동안에 어떤 가중치와 편향을 업그레이드하고 어느 정도로 할지 결정하

는 것을 ‘역전파

backpropagation

’라고 하는데, 출력층에서 계산된 손실이 신경망을 통해 ‘뒤로 전달’

되어 가중치와 편향 매개변수가 조정되기 때문입니다. 역전파를 계산하는 수학은 복잡하며 적

대적 사례를 이해하는 데 필요하지 않습니다.

5

그래도 궁금하다면 ‘심층 신경망의 내부와 순방

향 처리’ (

3

.

3

.

2

)에 소개된 신경망 처리의 순방향 측면을 자세히 이해해야 합니다. 이 책의 깃

허브에 있는 유용한 리소스 링크를 활용하세요.

경사 하강법은 머신러닝에서 중요하고 자주 사용되는 개념이며, 일반적으로 학습 중에 모델을

최적화하는 데 사용하는 기술입니다.

5

장에서는 적대적 사례 생성을 최적화하기 위해 이 기술

을 적용합니다.

3.4

간단한 이미지 분류기 만들기

딥러닝 모델을 맨 처음부터 만들고 훈련시키는 일은 순방향 처리 및 역전파와 관련한 수학 내

5

역전파는 심층 신경망의 각 계층에 있는 함수의 기여도에 따라 (

x

)를 최적화하는 수학 기법인 연쇄 법칙 규칙을 사용합니다.

신경망

C

의 비용

양호한

매개변수

최적화

임의의

초깃값

매개변수값

H

i

최고의 ...