파이토치로 배우는 LLM & AI

373

15

장

트랜스포머와 transformers

W1 = torch.tensor([

[1.0, –1.0],

[–1.0, 1.0],

[0.5, 0.5],

[–0.5, –0.5]

])

b1 = torch.tensor([0.0, 0.0, 0.0, 0.0])

이 층에

2D

텐서를 전달하면 행렬 곱셈이 다음과 같은

4D

출력(

layer1

_

out

)을 만듭니다.

After first layer: [–3.0, 3.0, 0.5, –0.5]

이 출력에는 두 개의 음수 (-

3

과 -

0

.

5

)가 있습니다. 이를

ReLU

함수에 전달하면 음수가

0

이

되고 다음과 같은 출력을 얻게 됩니다.

ReLU를 적용한 후: [0.0, 3.0, 0.5, 0.0]

이런 과정을

벤딩

bending

이라고 부릅니다. 음수를 제거함으로써 비선형성을 주입했습니다. 값 사

이의 관계가 더 복잡해졌으므로 이 관계를 학습하는 과정에서 이런 복잡성을 처리해야 합니다.

성공한다면 선형성의 함정을 피하게 될 것입니다.

그다음 아래와 같은 가중치와 절편을 가진 또 다른 층을 사용해

2D

텐서로 다시 변환합니다.

W2 = torch.tensor([

[1.0, –1.0, 0.5, –0.5],

[–1.0, 1.0, 0.5, –0.5]

])

b2 = torch.tensor([0.0, 0.0])

이 층의 출력은 다음과 같습니다. ...