Modelli linguistici di grandi dimensioni pratici

Capitolo 3. Guardare all'interno di grandi modelli linguistici

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Ora che abbiamo un'idea della tokenizzazione e degli embeddings, siamo pronti ad approfondire il modello linguistico e a vedere come funziona. In questo capitolo analizzeremo alcune delle principali intuizioni sul funzionamento dei modelli linguistici di Transformer. La nostra attenzione si concentrerà sui modelli di generazione del testo, in modo da ottenere un'idea più approfondita dei LLMs generativi in particolare.

Analizzeremo sia i concetti che alcuni esempi di codice che li dimostrano. Iniziamo caricando un modello di linguaggio e preparandolo per la generazione dichiarando una pipeline. Durante la prima lettura, puoi tranquillamente ignorare il codice e concentrarti sui concetti da comprendere. In una seconda lettura, il codice ti permetterà di iniziare ad applicare questi concetti.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

# Load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3-mini-4k-instruct")

model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3-mini-4k-instruct",
    device_map="cuda",
    torch_dtype="auto",
    trust_remote_code=True,
)

# Create a pipeline
generator = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    return_full_text=False,
    max_new_tokens=50,
    do_sample ...