AI를 위한 필수 수학

502

AI

를 위한 필수 수학

다. 더욱이 각 단계에서의 최적 전략은 상대방의 행동 (정확히 동일한 문제를 풀고 있지만 상대

방에게 유리한 행동 )에 따라 달라지기 때문에 계속 진화한다.

요즘 딸아이가 플레이 스테이션

5

에 빠져 있어 필자는 게임 관련 예시를 좋아하지 않는다. 그

대신 투자 시장 예시를 더 선호한다. 금융 컨설턴트는 매일 변화하는 시장에서 활동하며 매 시

점마다 특정 주식을 살지 팔지 결정한다. 장기적인 목표는 이익을 극대화하고 손실을 최소화하

는 것이다. 시장 환경은 확률적이며 우리는 시장의 규칙을 정확히 알지 못하지만 모델링 목적

상 규칙이 있다고 가정한다. 이제 사람이었던 금융 컨설턴트를 인공지능 에이전트로 바꾸고 끊

임없이 변화하는 시장 환경에서 이 에이전트가 매 시점마다 해결해야 하는 최적화 문제가 무엇

인지 살펴보려고 한다.

11.7.2

마르코프 결정 과정으로서의 강화 학습

강화 학습을 마르코프 결정 과정으로 공식화해보자. 에이전트가 존재하는 환경은 상태와 상태

사이의 전이 확률로 구성된 확률 과정이다. 전이 확률은 선택된 행동에 따라 달라진다. 따라서

임의의 상태

state

에서 다른 상태

state

'

로의 전이를 나타내는 마르코프 과정은 상태

state

에

있는 동안 취한 행동

a

v

에 명시적으로 의존한다.

여기서 주된 가정은 우리가 이 과정을 ...