LLMOps

5장. LLM 기반 애플리케이션을 위한 모델 도메인 적응

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이전 장( )에서 모델 배포를 위한 다양한 아키텍처에 대해 설명했습니다. 이 장에서는 모델에 대한 도메인 적응을 수행하는 방법에 대해 설명합니다. 실무자들은 도메인 적응을 흔히 '미세 조정'이라고 부르지만, 사실 미세 조정은 모델이 도메인에서 잘 작동하도록 만드는 여러 가지 방법 중 하나일 뿐입니다.

이 장에서는 프롬프트 엔지니어링, 미세 조정, 검색 증강 생성(RAG) 등 몇 가지 모델 적응 방법을 살펴봅니다.

또한 모델 압축이 필요한 리소스 제약적인 환경에서 실행하기 위해 LLM을 최적화하는 방법도 살펴봅니다. 마지막으로 모범 사례와 확장 법칙에 대해 논의하여 LLM을 효과적으로 실행하는 데 필요한 데이터의 양을 결정하는 방법을 보여드립니다.

처음부터 LLM 훈련하기

LLMs 을 처음부터 훈련하는 것은 애플리케이션에 따라 간단하거나 리소스 집약적일 수 있습니다. 대부분의 애플리케이션에서는 기존의 오픈 소스 LLM 또는 독점 LLM을 사용하는 것이 좋습니다. 반면에 LLM의 작동 방식을 배우는 데는 처음부터 트레이닝하는 것보다 더 좋은 방법은 없습니다.

LLM을 처음부터 훈련하는 것은 데이터 준비, 모델 아키텍처 선택, 훈련 구성 및 모니터링이 필요한 포괄적인 파이프라인을 필요로 하는 복잡하고 리소스 집약적인 작업입니다. LLM을 처음부터 훈련하는 구조화된 접근 방식을 살펴보겠습니다.

1단계: 작업 선택

이 모델을 구축하는 이유, 서비스할 도메인, 수행할 작업(예: 텍스트 생성, 요약 또는 코드 생성)을 결정합니다. 난해성, 정확도 또는 기타 도메인별 평가 지표와 같은 성공 기준을 결정합니다.

2단계: 데이터 준비

모델에 데이터를 입력하기 전에 모델 전처리 단계에서는 입력이 모델이 효과적으로 처리할 수 있는 형식인지 확인합니다. 여기에는 텍스트를 토큰화하고, 노이즈를 제거하고, 형식을 정규화하고, 때로는 복잡한 구조를 모델이 더 쉽게 이해할 수 있는 구성 요소로 단순화하는 작업이 포함됩니다. 전처리에는 가장 관련성이 높은 데이터를 골라내어 모델이 정말 중요한 것에 '집중'할 수 있도록 하는 기능 선택도 포함될 수 있습니다. 이 단계에는 다음이 포함됩니다:

대규모 텍스트 데이터 수집

고품질 소스에는 책, 기사, 웹사이트, 연구 논문, 코드 저장소, 도메인별 텍스트(예: 법률 또는 의료 분야에서 사용하는 경우)가 포함됩니다.

데이터 정리

여기( )에는 광고나 서식 아티팩트 등 쓸모없는 요소를 제거하고 맞춤법 오류를 처리하는 작업이 포함됩니다. 이 작업에는 Hugging Face와 같은 라이브러리를 사용합니다.

데이터 토큰화

BERT 및 GPT-3 같은 모델에서 수행되는 것처럼 바이트 쌍 인코딩(BPE) 또는 SentencePiece와 같은 하위 단어 토큰화 방법을 사용하여 이 작업을 수행할 수 있습니다. 이 작업을 위해 Hugging ...