딥러닝의 정석(2판)

418

딥러닝의 정석 2판

했다.

A3C

에이전트는

12

시간 이내에

Atari

Breakout

을 학습할 수 있지만,

DQN

에이전트

는

3

~

4

일가량을 학습해야 한다.

13.10.3

비지도 강화 및 보조 학습

UNREAL

은 딥마인드 출신인 제이드버그

Jaderberg

등이 「

Reinforcement

learning

with

unsupervised

auxiliary

tasks

」

8

에서 소개한

A3C

를 개선한 것이다.

UNREAL

은 보상 희소성 문제를 해결한다. 강화 학습은 에이전트가 보상을 받기만 하고, 보상

이 증가하거나 감소하는 이유를 정확히 파악하기 어렵기 때문에 학습이 매우 어렵다. 또한 강

화 학습을 하려면 보상을 얻기 위한 좋은 정책뿐만 아니라 월드를 잘 표현하는 것도 학습해야

한다. 희박한 보상과 같이 약한 학습 신호로 이 모든 것을 수행하는 것은 상당히 어려운 일이다.

UNREAL

은 보상 없이 월드에서 무엇을 배울 수 있을까라는 질문을 던진다. 이는 비지도 문제

에서 유용한 월드 표현을 학습하는 것을 목표로 한다. 구체적으로,

UNREAL

은 전체적인 목표

에 몇 가지 추가적인 비지도 보조 작업을 추가한다.

첫 번째 작업은

UNREAL

에이전트가 자기 액션이 환경에 어떤 영향을 미치는지 학습하는 것

이다. 에이전트는 액션을 수행하여 화면의 픽셀값을 제어하는 ...