Modelos de lenguaje grandes: las partes difíciles (Spanish Edition)

Apéndice. Herramientas para la implementación local de LLM

Un experto es alguien que ha cometido todos los errores que se pueden cometer en un campo muy específico.

Niels Bohr

Este apéndice cubre tres herramientas para una implementación local de LLM y una técnica para hacer que los LLMs sean más accesibles para entornos de computación locales.

Ollama ofrece el punto de entrada más sencillo , con una experiencia similar a Docker para descargar y ejecutar modelos con comandos simples. llama.cpp te proporciona el motor subyacente que impulsa gran parte del ecosistema de LLM locales, convirtiendo los modelos a formatos eficientes y ejecutándolos en hardware de consumo. llamafile adopta un enfoque único al empaquetar los modelos como archivos ejecutables únicos que se ejecutan en cualquier lugar sin dependencias. En conjunto, estas herramientas representan diferentes puntos en el espectro entre la facilidad de uso y el control detallado.

La cuantificación es una técnica para reducir el tamaño del modelo y el consumo de memoria al tiempo que mejora la velocidad de inferencia, pero conlleva posibles sacrificios en la calidad del modelo. Veremos cómo cuantificar y también cómo evaluar estos sacrificios, usando dos medidas populares: la perplejidad y la divergencia KL.

Ollama

Ollama es una herramienta ligera, con licencia MIT y de código abierto para ejecutar LLMs de forma local. Ofrece una interfaz sencilla para interactuar con una amplia gama de LLMs. Ollama está diseñada para ser ...