AI를 위한 필수 수학

601

Chapter 13 -

인공지능과 편미분 방정식

13.9.5

동적 계획법과 강화 학습

동적 계획법을 위한 최적의 전략을 학습하기 위해 신경망을 사용하는 것을 일부 연구자들은 강

화 학습이라고 부르며, 신경-동적 계획법

neuro

-

dynamic

programming

이라고 부르는 연구자들도 있다.

신경망과 이를 갖춘 기계는 현재와 미래의 행동이 장기간의 누적 비용 또는 보상에 어떻게 영

향을 미치는지, 즉 해당 기간의 가치를 예측하는 방법을 배운다. 일일 투자 전략이 연간 실적에

어떻게 영향을 미칠까? 첫 수 및 이후의 체스 수가 게임의 전체 결과에 어떻게 영향을 미칠까?

가치 함수는 시간의 각 (이산적 또는 연속적 ) 단계에서 최적의 전략을 따를 때 발생하는 총 비

용과 보상의 합계다.

신경망은 과거 데이터를 사용하여 훈련하는 동안 입력과 출력이 필요하다. 입력은 상태와 해당

상태에서 허용되는 모든 잠재적 행동이며 출력은 가치 (총 비용 및 보상)이다. 예를 들어 고객

을 대상으로 전략을 수립하는 비즈니스 모델을 위해 훈련된 신경망은 고객 상태를 입력으로 받

고 장기 가치를 극대화하는 다음 행동 시퀀스를 출력한다. 신경-동적 계획법은 신경-동적 계

획법과 벨만 방정식에서 가치 함수 근사를 위한 인공 신경망 사용에 대한 기존의 심층적인 설

명을 제공한다. 이 방법은 차원의 저주의 영향을 줄이는 데 매우 효과적이다. 왜냐하면 고차원

함수 전체를 저장하고 평가하는 대신 신경망의 파라미터만 저장하면 되기 때문이다.

13.10

인공지능을 위한 ...