AI를 위한 필수 수학

186

AI

를 위한 필수 수학

아직 갈 길이 멀기 때문에 볼록성에 관한 지식을 활용하여 신경망을 더 깊이 이해할 수 있다

면 좋을 것이다. 이러한 연구는 현재 진행형이며, 두 층으로 구성된

ReLU

신경망을 훈련시키

는 문제를 볼록 분석 최적화 문제로 정의한 논문 「

Convex

Geometry

of

Two

-

Layer

ReLU

Networks

:

Implicit

Autoencoding

and

Interpretable

Models

」

91

이 있다. 다음은 논문의

초록이다.

우리는 숨겨진 뉴런의 내부 작동과 함수 공간 특성을 설명하는

ReLU

신경망을 위한 볼록 분석 프레임워크를

개발한다. 신경망에서

ReLU

가 특정 볼록 집합의 극한점을 통해 간단한 해를 유도하는 볼록 정규화 역할을

한다는 것을 보여주며,

1

차원 회귀 및 분류에서 노름 정규화를 통해

2

층으로 구성된

ReLU

신경망이 선형 스

플라인 보간

linear

spline

interpolation

을 만들어낸다는 것을 증명한다. 더 일반적인 고차원의 경우

2

층으로 구성된 신

경망의 훈련 문제를 무한히 많은 제약 조건이 있는 볼록 최적화 문제로 바꿀 수 있다는 것을 보여준다. 그리고

해를 근사하기 위해 볼록 완화 제품군

a

family

of

convex

relaxation

과 완화를 개선하기 위한 절단면 알고리즘을 보여줄 ...