AI를 위한 필수 수학

499

Chapter 11 -

확률

11.6.7

분기 과정

분기 과정

branching

process

은 무작위로 여러 갈래로 나뉜다. 예를 들어 이는 특정 개체군의 진화

(

예

박테리아, 원자로의 중성자 등 )를 모델링할 수 있다. 여기서 주어진 세대의 각 개체는 어

떤 고정된 확률 분포에 따라 다음 세대에 임의의 수의 개체를 생성하며 이 확률 분포는 개체 간

에 차이가 없다. 분기 과정 이론의 주요 질문 중 하나는 궁극적 멸종 확률이다. 이는 유한한 세

대가 지난 후에 개체 군이 사라지는 경우를 의미한다.

11.6.8

마르코프 연쇄

마르코프 연쇄는 가장 중요한 확률 과정으로, 인공지능의 강화 학습 분야에서 사용된다. 여기

서는 이산 시간 마르코프 연쇄를 정의해보겠다. 마르코프 연쇄를 정의하기 위해서는 다음이 필

요하다.

●

서로 구분되는 상태들의 집합

S

(유한 또는 무한 )

이를 입자나 에이전트가 차지할 수 있는 상태 집합으로 생각하자. 마르코프 과정은 각 단계의 한 상태에서

다른 상태로 무작위로 변화한다.

●

가능한 각

state

i

의 확률

v

i

를 나타내는 초기 분포

처음에 입자가 특정 위치에 있거나 에이전트가 초기화 시 특정 상태에 있을 가능성은 어느 정도일까?

●

입자나 에이전트가

state

i

에서

state

j

로 전이할 확률을 지정하는 전이 확률

p

ij