파이토치로 배우는 LLM & AI

51

1

장

파이토치 소개

optimizer.zero_grad()

이 코드는 옵티마이저의 그레이디언트

gradient

4

를

0

으로 만듭니다. 학습 과정의 이론은 최솟값을

찾아 곡선을 따라 내려가는 것에 관련이 있습니다. 이렇게 하기 위해 곡선의 그레이디언트가

필요합니다. 이 곡선은 정확도를 측정할 때 계산되므로 루프의 시작에서 그레이디언트를 재설

정해야 합니다.

outputs = model(xs)

이 코드는 입력

x

값에 대해 계산한 출력 배열을 생성합니다.

y

배열에 정답이 들어 있지만 직

선을 정의하는 파라미터에 대해 모델이 만든 추측의 정확도를 측정해야 합니다. 루프를 처음

실행할 때 뉴런 안에 있는

w

와

b

파라미터

5

는 랜덤하게 초기화됩니다. 예를 들어 추측값은

y

=

10x

+

10

이 될 수 있습니다.

loss = criterion(outputs, ys)

이 코드는 출력(추측 )과 정답을 비교하여

손실

loss

을 계산합니다. 손실은 추측이 얼마나 좋은지

또는 나쁜지 알려 주는 값입니다.

loss.backward()

이 코드는

역전파

backpropagation

가 일어나는 학습 과정의 핵심 부분입니다. 옵티마이저와 손실 함

수의 수학이 만나서 새로운 파라미터에 대한 그레이디언트를 계산합니다. 이 예의 경우

y

=

10x

+

10

의 오차는 매우 크고 원하는 값의