로컬에서 호스팅할 수 있는 모델들은 클라우드 연결 없이 소비자용 하드웨어 또는 기업용 하드
웨어에서 실행되도록 설계된 것이다. 라마
8B
와 젬마
Gemma
2B
가 그 예인데, 이들의 하드웨어
최적화 버전은
NVIDIA
NIM
(
https
://
developer
.
nvidia
.
com
/
nim
)을 통해 사용할 수
있다. 이런 식으로 모델을 로컬에서 실행하면 완벽한 개인정보보호가 가능하다. 데이터가 로컬
컴퓨터를 벗어나지 않으며
API
비용도 발생하지 않는다. 하지만 이 모델들은 클라우드 모델
에 비해 기능이 현저히 떨어진다는 점을 유념하자. 한편, 프런티어 모델들을 이런 식으로 인터
넷과 단절된 ‘에어 갭
air
-
gapped
’ 시스템에서 사용하려는 수요가 발생하면서 일부 독점 모델 공급
업체도 그런 성격의 서비스를 제공하게 되었다. 예를 들어 구글의 경우
Google
Distributed
Cloud
(
https
://
oreil
.
ly
/
HFIut
)를 이용해서 제미나이 모델들을 온프레미스로 실행할
수 있고, 오픈
AI
의 경우에는
MS
애저의 온프레미스 제품(
https
://
oreil
.
ly
/-
XSfk
)을 이
용해서 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.