Capítulo 2. Dadosdo modelo
Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com
Um dos desafios mais importantes ao executar LLMs no Kubernetes é gerenciar o tamanho dos dados do modelo. Os LLMs podem ter de alguns gigabytes a quase um terabyte, e trazer esses dados de forma eficiente para um cluster onde os runtimes possam acessá-los requer uma análise cuidadosa.
A parte principal desses modelos consiste principalmente nos parâmetros do modelo e pode ser extremamente grande. A Tabela 2-1 lista o número de parâmetros e o tamanho de alguns dos modelos disponíveis mais proeminentes que você mesmo pode executar. Existem muitos outros, mas a partir dessa seleção você já pode ver uma ampla gama de variações. Elas variam de modelos grandes, que provavelmente são impraticáveis para uso sob demanda, a modelos mais leves, que podem ser executados em seu próprio cluster e facilmente baixados quando necessário.
| Nome | Fornecedor | Parâmetros | Tamanho |
|---|---|---|---|
Llama 4 Maverick |
Meta |
400 bilhões (MoE, 17 bilhões ativos) |
~800 GB |
DeepSeek-V3 |
DeepSeek |
671 bilhões (MoE, 37 bilhões ativos) |
~700 GB |
Llama 3.1 405 bilhões |
Meta |
405 bilhões |
~750 GB |
Qwen3-235B |
Alibaba |
235 bilhões (MoE, 22 bilhões ativos) |
~118 GB |
Mixtral 8x22 bilhões |
Mistral |
141 bilhões (MoE, 39 bilhões ativos) |
~88 GB |
GPT-OSS 120B |
OpenAI |
117 bilhões (MoE, 5 bilhões ativos) |
~70 GB |
Gemma 2 27B |
27 bilhões |
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access