파이토치로 배우는 LLM & AI

443

17

장

Ollama로 LLM 서빙하기

await new Promise(resolve => setTimeout(resolve, 1000));

}

마지막

setTimeout

코드는

1

초마다 요청을 반복합니다. 서버 부하를 줄이기 위해 이 값을 바

꿀 수 있습니다.

이 애플리케이션을 실행하려면 터미널에서 해당 디렉터리로 이동한 다음 다음 명령을 입력합

니다.

node app.js

이것이 전부입니다. 깃허브에서 완전히 작동하는 코드를 다운로드할 수 있습니다. 직접 테스트

해 볼 수 있도록 소설도 업로드되어 있습니다.

17.4

마치며

이 장에서 오픈 소스

Ollama

가 어떻게

LLM

을 감싸고 애플리케이션 구축을 쉽게 만들어 주

는

API

를 제공하는지 알아봤습니다.

Ollama

설치 방법과 몇 가지 사용 예시를 살펴보았습니

다. 경량 모델인 구글의

Gemma

와 강력한 멀티모달 모델인 메타의

Llama3

.

2

-

vision

을 다

운로드해 사용해 봤습니다. 채팅뿐만 아니라 파일을 첨부하는 예제도 살펴봤습니다.

Ollama

는

HTTP

엔드포인트를 제공하므로

HTTP

요청을 시뮬레이션하는

curl

명령을 사용해 테스

트하는 방법을 소개했습니다. 마지막으로 책 내용을 분석하는

LLM

기반 애플리케이션의 프로

토타입을 만들어 보았습니다. 먼저 간단한 파이썬 스크립트로 개념 증명을 구현하고, ...