핸즈온 머신러닝: 사이킷런과 텐서플로를 활용한 머신러닝, 딥러닝 실무

589

16

장

강화 학습

#

일정

간격으로

저장

if step

%

save

_

steps

==

0

:

saver

.

save

(

sess

,

checkpoint

_

path

)

체크포인트 파일이 있으면 모델을 복원하고 아니면 보통과 같이 변수를 초기화하는 것으로

시작합니다. 그리고 온라인

DQN

을 타깃

DQN

으로 복사합니다.

while

루프가 시작하면

iteration

은 프로그램이 시작한 후부터 전체 훈련 스텝 횟수를 카운트하고,

step

은 훈련이 시

작한 후부터 전체 훈련 스텝 횟수를 카운트합니다 (체크포인트를 복원해도

global

_

step

변수

덕분에

step

변수도 복원됩니다 ). 다음 코드는 게임을 리셋하고 불필요한 게임의 도입 부분

을 건너뜁니다. 그런 다음 온라인

DQN

이 어떤 행동을 할지 평가하고, 게임을 플레이해서 그

경험을 재현 메모리에 저장합니다. 그리고 일정한 간격으로 (워밍업 기간이 지난 후 ) 온라인

DQN

이 훈련 스텝으로 들어갑니다. 먼저 메모리에서 배치를 샘플링하고 타깃

DQN

에 각 경

험 데이터의 ‘다음 상태’에 대한 가능한 모든 행동의

Q

-

가치를 추정하도록 요청합니다. 그런 다

음 각 상태-행동 쌍에 대한 타깃

Q

-

가치를 담은

y

_

val

을 계산하기 위해 [식

16

-

7

]을 적용합

니다. 여기서 조금 까다로운 부분은

max

_

next

_

q

_

values ...