안전한 인공지능 시스템을 위한 심층 신경망 강화

56

1

부

인공지능을 속이는 기술

정합니다. [그림

3

-

5

]에서는 문자

b

가 편향을 표시합니다.

입력층 이후 특정 뉴런의 활성화는 뉴런의 그다음 연결부에서 발생하는 입력과 뉴런의 편향에

의해 조정되어 결정됩니다. 각 연결부의 입력은 연결 뉴런의 활성화와 연결되어 자체의 가중치

의 산물을 생성합니다. 따라서 [그림

3

-

5

]의 첫 번째 연결부의 입력은 연결 가중치와, 연결된

뉴런과 관련된 편향의 곱입니다.

.wa

00

이제 모든 것을 연결해 모든 입력과 관련된 합을 계산합니다.

.. ..wa wa wa wa

nn nn00 11 11

f++++

--

"",,

이어서 연결된 뉴런과 관련된 편향을 추가합니다.

.. ..wa wa wa wa b

nn nn00 11 11

f+++++

--

심층 신경망을 필요에 따라 사용할 수 있도록 하기 위해 이 계산 결과를 ‘활성화 함수’에 제공합

니다. 이것을

A

로 정의하겠습니다. 이는 입력 데이터에 의해 활성화가 직접 결정되는 입력층의

네트워크가 아닌 다른 네트워크에서 특정 뉴런의 활성화를 계산하는 공식을 제공합니다.

.. ..Aw awawawab

nn nn00 11 11

f+++++

--

^

h

"",,

신경망 처리 중에 사용할 수 있는 여러 가지 활성화 함수가 있습니다. 신경망의 각 뉴런에 대한

특정 함수는 신경망을 설계할 때 명시적으로 정의하며 신경망 유형과 네트워크 계층에 따라 다

릅니다.

예를 들어, 심층 신경망의 은닉층에서 매우 잘 작동한다고 증명된 활성화 함수는

ReLU

입니다.

신경망에서 은닉층은 작은 입력으로도 뉴런이 발생하지 ...