Modèles de langage à grande échelle pratiques

Chapitre 3. Regarder à l'intérieur des grands modèles linguistiques

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Maintenant que nous avons une idée de la tokenisation et des embeddings, nous sommes prêts à nous plonger plus profondément dans le modèle de langage et à voir comment il fonctionne. Dans ce chapitre, nous allons examiner certaines des principales intuitions sur le fonctionnement des modèles de langage de Transformer. Nous nous concentrerons sur les modèles de génération de texte afin d'approfondir notre connaissance des LLMs génératifs en particulier.

Nous allons examiner à la fois les concepts et quelques exemples de code qui les démontrent. Commençons par charger un modèle de langage et le préparer à la génération en déclarant un pipeline. Lors de ta première lecture, n'hésite pas à sauter le code et à te concentrer sur la compréhension des concepts impliqués. Puis, dans une deuxième lecture, le code te permettra de commencer à appliquer ces concepts.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

# Load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3-mini-4k-instruct")

model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3-mini-4k-instruct",
    device_map="cuda",
    torch_dtype="auto",
    trust_remote_code=True,
)

# Create a pipeline
generator = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer ...