머신러닝 시스템 설계

182

머신러닝 시스템 설계

p

번째 위치에 대한 임베딩

위치 임베딩 크기

그림

5-6

고정 위치 임베딩의 예시(

H

는 모델에서 생성된 출력의 차원)

고정 위치 임베딩은 푸리에 피처로 알려진 방식의 특수한 경우입니다. 위치 임베딩의 위치가

연속적이면 푸리에 피처도 연속적입니다. 찻주전자 같은

3D

개체를 표현한다고 가정해봅시

다. 찻주전자 표면의 각 위치는 연속적인

3

차원 좌표로 표시됩니다. 위치가 연속적일 때 연속

열 인덱스로 임베딩 행렬을 구축하기는 매우 어렵지만, 사인 및 코사인 함수를 사용하는 고정

위치 임베딩은 여전히 유용합니다.

다음 수식은 좌표

v

의 임베딩 벡터를 일반화한 형식이며, 좌표

v

의 푸리에 피처라고도 합니

다. 푸리에 피처는 좌표 (또는 위치 )를 입력으로 사용하는 작업에서 모델 성능을 향상하는 것

으로 나타났습니다. 더 알아보려면 논문 「

Fourier

Features

Let

Networks

Learn

High

Frequency

Functions

in

Low

Dimensional

Domains

」

17

를 참조하기 바랍니다.

(v) = a

1

cos(2 b

1

T

v),a

1

sin(2 b

1

T

v),…,a

m

cos(2 b

m

T

v),a

m

sin(2 b

m

T

v)

T

5.3

데이터 누수 데이터 누수

2021

년

7

월,

MIT

테크놀로지 리뷰

Technology

Review

는 도발적인 ...