실무로 통하는 LLM 애플리케이션 설계

99

2

장

사전 훈련 데이터

다음은

Faker

라이브러리를 사용하는 간단한 예시입니다.

from faker import Faker

fake = Faker(‘en_IN’) # 인도 로케일 사용

Faker.seed(0)

for i in range(5):

print(fake.aadhaar_id)

이 코드는 인도의 사회보장번호에 해당하는

12

자리 가짜 아드하르

aadhaar

번호를 생성합니다.

생성된

ID

는 실제로 유효하지 않지만, 형식은 실제 아드하르 번호와 일치합니다.

for i in range(5):

print(fake.address)

이를 실행하면 선택한 로케일에 맞는 가짜 주소를 생성할 수 있습니다.

NOTE

_

훈련 데이터셋에서

PII

를 제거하는 것은 모델의 데이터 유출을 방지하는 여러 방법 중 하나일 뿐입니

다. 최근 주목받는 방법으로는 차등 개인정보 보호

differential

privacy

70

가 있습니다. 이는 입력이나 출력에 무작위성을

도입하여 개인정보 보호에 대한 이론적 보장을 제공하는 방식입니다. 신경망에서는 이를

DP

-

SGD

71

알고리즘

으로 구현하는데, 이 방법은 매번 업데이트 시 그레이디언트 클리핑

gradient

clipping

과 노이즈 추가를 수행합니다. 하

지만 차등 개인정보 보호를 적용하면 훈련 속도가 현저히 느려지고 모델 성능도 저하할 수 ...