Puntata 101
Puntata 101 — LLM in 5 minuti
Livello: ✔️✔️ Doppie Spunte Blu · Capitolo 10 · Sotto il cofano: cos’è davvero un LLM
Una calcolatrice di linguaggio addestrata su mezzo internet. Non c’è magia. C’è statistica, scala e potenza di calcolo industriale.
Benvenuto al Livello 2
Hai chiuso il Livello Boomer. Sai usare l’AI. Adesso vediamo come funziona davvero. Niente formule che spaventano, ma neanche più metafore zuccherose tipo “pappagallo statistico”. Si scende di un piano, si guarda dentro.
LLM sta per Large Language Model. Tre parole, tre concetti.
”Language Model” — modello di linguaggio
Un language model è una funzione che, data una sequenza di parole (o pezzi di parole — vedi puntata 102 su token), stima la probabilità del prossimo elemento:
P(w_n | w_1, w_2, …, w_{n-1})In italiano: “dato ‘Il gatto si è arrampicato sull’…’, quanto è probabile che la prossima parola sia ‘albero’?”
Non è un’idea nuova. I primi language model sono degli anni ‘80 (n-grams). La novità è il come si stima quella probabilità.
”Large” — la scala cambia la natura
Negli anni 2010 sono arrivati i neural language model: reti neurali addestrate sui testi. All’inizio piccole, poi sempre più grandi:
| Anno | Modello | Parametri |
|---|---|---|
| 2018 | GPT-1 | 117M |
| 2019 | GPT-2 | 1.5B |
| 2020 | GPT-3 | 175B |
| 2023 | GPT-4 | ~1.7T (stima MoE) |
| 2025 | GPT-5 | non dichiarato (centinaia di B–T) |
Crescendo, sono successe due cose inaspettate:
- Emergenze: capacità nuove che non c’erano nei modelli piccoli (ragionamento, instruction following, coding).
- Generalizzazione: un solo modello fa centinaia di compiti senza addestramento specifico.
È il famoso paper “Scaling Laws” (Kaplan et al. 2020): aumentando in modo proporzionato dati, parametri e compute, la qualità sale prevedibilmente. Vedi anche puntata 282.
”Transformer” — l’architettura sotto
Tutti gli LLM moderni si basano sul Transformer (Vaswani et al., “Attention Is All You Need”, 2017 — analizzato puntata 201 al livello Yoda).
In due righe:
- Ogni token “guarda” gli altri tramite self-attention.
- I pesi appresi durante il training decidono quali pezzi del contesto importano per predire il prossimo token.
Per il livello Spunte Blu basta sapere: il transformer è la struttura standard, e quasi tutto ciò che si dice di “ChatGPT”, “Claude”, “Gemini” è una variante di esso (con eccezioni notevoli come Mamba — puntata 205).
Come si costruisce un LLM: le 3 fasi
1. Pretraining (la fase “leggi tutto”)
- Dataset: trilioni di token da web, libri, codice, dati sintetici (vedi puntate 213-214).
- Obiettivo: next-token prediction su scala industriale.
- Risultato: un modello che “parla” bene, ma non sa rispondere alle istruzioni in modo utile.
- Costo: decine-centinaia di milioni di dollari per i modelli di frontiera.
2. Post-training (SFT + RLHF)
- SFT (Supervised Fine-Tuning): esempi “domanda → risposta ideale” scritti da umani.
- RLHF (Reinforcement Learning from Human Feedback): umani classificano coppie di risposte, il modello impara a preferire le migliori. Vedi puntata 216.
- Alternative moderne: DPO, Constitutional AI (Anthropic).
- Risultato: il modello diventa utile, onesto, innocuo (helpful, harmless, honest).
3. Inference (cioè: usarlo)
- Quando tu mandi un prompt, il modello genera token per token la risposta.
- Costo per query: oggi pochi centesimi (e in calo costante — puntata 186).
Cosa sa fare un LLM “puro”
Out of the box, un LLM (senza orpelli):
- ✅ Continua qualunque testo gli dai
- ✅ Riassume, traduce, riformula
- ✅ Risponde a domande dai dati di training
- ✅ Scrive codice nelle lingue viste in training
- ✅ Segue istruzioni complesse (instruction following)
Cose che non sa fare da solo:
- ❌ Cercare informazioni aggiornate sul web → serve browsing / tool use (puntata 236)
- ❌ Ricordare conversazioni passate → serve memoria esterna (puntata 87, 272)
- ❌ Eseguire codice → serve un code interpreter collegato
- ❌ Vedere immagini → serve multimodalità (puntata 269)
- ❌ Calcolare bene cifre lunghe → meglio passare a una calcolatrice esterna
Per questo le AI moderne sono LLM + orchestrazione: il modello chiama strumenti esterni quando serve. Vedi capitolo 22 (235-246) per l’architettura agentica.
”Ma allora capisce?”
Domanda filosofica che torna spesso. Risposta tecnica:
L’LLM non ha modelli del mondo nel senso umano. Non ha esperienza incarnata, non ha goal interni, non ha aggiornamento causale fluido. Ma ha rappresentazioni interne (gli embedding — puntata 106) che catturano una gran parte della struttura del linguaggio e dei concetti.
Funzionalmente: per molte task si comporta come se capisse. Sul piano metafisico: è un dibattito aperto (Searle, Bender, Bengio, Hinton — posizioni diverse). Per il pratico: ai fini operativi, considera l’LLM un sistema competente ma non sapiente.
I 4 numeri-chiave di un LLM
Ogni volta che leggi una scheda tecnica di un modello, guarda questi 4:
| Numero | Cosa significa |
|---|---|
| Parametri (es. 7B, 70B, 405B) | Quanto è “grande” il modello — più ≠ sempre meglio (puntata 107) |
| Context window (es. 128k, 1M, 2M) | Quanti token può “tenere in testa” insieme (puntata 104) |
| Tokens / sec | Quanto velocemente genera (latenza) |
| MMLU / HumanEval / livello benchmark | Qualità misurata su test standard (puntata 221) |
Sapendo questi 4 numeri sai inquadrare qualunque LLM in 30 secondi.
TEST pratico (5 minuti)
- Apri artificialanalysis.ai (sito gratuito che raccoglie metriche dei principali LLM).
- Confronta GPT-5 vs Claude 4.7 vs Gemini 2.5 Pro vs DeepSeek-R.
- Per ognuno annota: prezzo per 1M token, velocità (tokens/sec), context window, MMLU.
- Quale è il “miglior rapporto qualità/prezzo” per il tuo caso d’uso?
Bonus: confronta il rapporto prezzo/parametri. Modelli MoE come Mixtral o DeepSeek hanno tantissimi parametri totali ma ne attivano solo una frazione per token — costano meno di un dense equivalente. Vedi puntata 204.
Take-away in una riga
Un LLM è una funzione P(next_token | context) resa enorme. Non c’è magia: c’è scala, dati, e mesi di RLHF. Tutto il resto deriva da qui.
➡️ Prossima puntata: Token — l’AI non legge parole, legge pezzi.