Puntata 211 — Reasoning models a livello architetturale

Livello: 🧙 Maestro Yoda · Capitolo 19 · Architetture

Un LLM normale risponde “subito”. Un reasoning model paga in token quello che prima si pagava in parametri. Stesso transformer, soldi spostati.

due monete — una con scritto “more parameters” che scende, una con scritto “more thinking tokens” che sale. Sotto, il grafico delle scaling law affiancato a quello della test-time compute. Tag: “due assi indipendenti dell’intelligenza”

Cosa è cambiato a settembre 2024

OpenAI rilascia o1. È un transformer normale, ma è stato post-trainato a generare lunghe catene di ragionamento prima di rispondere. Il “ragionamento” è invisibile all’utente (almeno parzialmente) e occupa migliaia, decine di migliaia, fino a centinaia di migliaia di token.

L’idea non era nuova (Chain-of-Thought era 2022). Era nuovo:

L’RL fatto bene su lunghe catene.
Il fatto che lo facesse il modello stesso, non l’utente nel prompt.
I numeri: AIME (matematica olimpionica) saliva dal 13% di GPT-4o all’83%.

Da lì la corsa: DeepSeek-R1 (gennaio 2025, open weight), Claude 3.7 thinking, Gemini 2.5 Thinking, Qwen QwQ, e così via.

Nel maggio 2026 sostanzialmente ogni LLM di frontiera ha una modalità di reasoning.

Non è una nuova architettura. È un nuovo asse di scaling

A livello di transformer non cambia quasi niente. Stesso schema, stessi blocchi, stessa attention. Quello che cambia è il rapporto fra:

Train-time compute — costo del pretraining + post-training.
Test-time compute — costo dell’inferenza per query.

Per anni l’industria ha scalato il train-time (più parametri, più dati). Il reasoning model sposta l’investimento: paga meno in parametri, di più in tempo di inferenza per query.

Empiricamente (OpenAI 2024, DeepSeek 2025): più “thinking token” il modello genera prima di rispondere, migliore la qualità su task di reasoning. Una nuova scaling law, ortogonale a quella classica.

Come si addestra un reasoning model

Stato dell’arte 2026, sintesi (i dettagli specifici variano per provider):

Step 1 — Pretraining + SFT classico

Stesso processo di un LLM normale (vedi puntate 213-215): pretraining su corpora enormi, supervised fine-tuning su istruzioni di alta qualità.

Step 2 — Generation di traces di ragionamento

Si genera un dataset di chain-of-thought lunghe su task verificabili (matematica, codice, logica). Due strade:

Distillazione da un reasoning model esistente (es. DeepSeek-R1 generato dataset distillati per la community).
Self-generation con filtering: il modello base genera molte soluzioni, vengono filtrate quelle corrette (giudicate da un verifier automatico — il compilatore per il codice, un sistema matematico per math, una rubrica per giudizi).

Step 3 — Reinforcement Learning su reward verificabile

La novità chiave. Si fa RL (PPO o GRPO — DeepSeek’s variant) su un reward facilmente computabile:

Codice: passa i test? +1, altrimenti 0.
Matematica: la risposta numerica è giusta? +1, altrimenti 0.
Logica: corrisponde alla risposta attesa? +1, altrimenti 0.

Niente reward model umano. Niente RLHF tradizionale. Solo reward booleano da un verificatore automatico.

Risultato emergente: il modello, durante RL, impara da solo a generare ragionamenti più lunghi, con auto-correzione, branching, backtracking. Comportamenti tipo “wait — let me reconsider”, “actually that’s wrong, let me try again” non sono pre-programmati. Emergono.

Step 4 — Sintonizzazione finale

Si addestra il modello a essere “user-friendly” (formattazione, brevità nella risposta finale, eventuale separazione fra “thinking” e “output”).

DeepSeek-R1: il momento della verità open

Gennaio 2025: DeepSeek rilascia R1, un reasoning model open-weight con performance simil-o1 e un paper tecnico (arXiv:2501.12948) dettagliato. Due lezioni rivoluzionarie:

Pure RL funziona — addirittura senza SFT iniziale, partendo da un base model, RL pure con reward verificabili produce un reasoning model. Il modello sviluppa da solo CoT lunghe e auto-correzione. Si chiama “R1-Zero”.
Costo basso — il training totale annunciato era ~$5.5M (numero che genera polemiche ma comunque ~100× più basso del previsto). Apre la strada a labs medio-piccoli per fare reasoning.

A maggio 2026 esistono decine di reasoning model open: DeepSeek R1.5, Qwen QwQ-Max, Llama Reasoning, Meta-Mat, Mistral Reasoner. Hugging Face Hub li ospita pubblicamente.

Cosa fa “deep thinking” durante una generation

Da analisi delle traces pubbliche (DeepSeek, Qwen):

Restating del problema — il modello riscrive il problema con parole sue.
Decomposizione — divide in sotto-problemi.
Tentativo — prima approccio.
Verifica — controlla il risultato intermedio.
Backtracking — se sbaglia, “torna indietro” e prova diversamente. Letteralmente scrive: “Wait, that doesn’t work because…” e ricomincia.
Alternative methods — “Let me try another approach”.
Consolidamento — verifica finale prima di rispondere.

Questo “monologo” è il thinking budget. È visibile in alcuni provider (DeepSeek, Qwen), nascosto in altri (OpenAI mostra solo summary).

Test-time compute: un asse esplicito

I provider espongono ora parametri di thinking budget:

OpenAI: reasoning_effort ∈ {low, medium, high} per o-series.
Anthropic: thinking.budget_tokens per Claude (con thinking mode esplicito).
Google: thinking_budget per Gemini con modalità Thinking.

Aumentare il budget = più tokens spesi prima della risposta = qualità su task hard ↑ ma costo e latenza ↑.

Pareto frontier osservato (2026):

Task semplici: thinking medio basta. Più budget non aiuta.
Task hard (matematica olimpionica, debugging complesso): high reasoning sblocca passi qualitativi.
Task creative writing / conversational: thinking spesso non aiuta o peggiora. È specifico per problemi verificabili.

Innovazioni architetturali correlate

A parte il training, ci sono micro-innovazioni che aiutano i reasoning model:

Test-time scaling architectures — pattern in cui si campiona N risposte in parallelo e si vota (self-consistency). Anche senza retrain.
Process Reward Models (PRM) — verifier che danno reward step-by-step, non solo sul risultato finale. Usati durante l’RL per migliorare quality del CoT.
Latent reasoning — proposte recenti (Coconut, Meta 2024) in cui il modello “pensa” in spazi latenti continui, non in token. Sperimentale ma promettente.
Tool-augmented reasoning — il modello, durante il thinking, può chiamare un calcolatore, un browser, un compilatore. Le risposte di questi tool si aggiungono al thinking. Vedi puntata 236.

Quando un reasoning model NON ti serve

Realismo: i reasoning model non sono superiori in tutto.

Sì: matematica olimpionica, codice complesso, sudoku, ragionamento multi-step, debugging architetturale, scientific reasoning.

No (o non vale il costo): creative writing, conversational chat, classificazione, traduzione, retrieval, ASR. Qui un modello “rapido” è uguale o meglio.

Il pattern ibrido del 2026: router che instrada le query a un reasoning model per task hard e a un modello fast per il resto. È quello che fa GPT-5 dietro le quinte, ed è la scelta default in Cursor/Claude Code/agentic systems moderni.

Glossario lampo

Chain-of-thought (CoT) — sequenza di passi di ragionamento esplicitati nel testo.
Test-time compute — costo di inferenza per query (vs train-time).
Reward verificabile — reward computabile automaticamente (matematica, codice, logica).
GRPO — Group Relative Policy Optimization, variante RL di DeepSeek.
Process Reward Model — verifier che valuta step intermedi, non solo l’output finale.
Thinking budget — quanti token max il modello può usare per “pensare” prima di rispondere.

TEST hands-on

Scarica deepseek-ai/DeepSeek-R1-Distill-Qwen-7B (8 GB, gira su una GPU consumer). Lancialo con vllm o ollama.
Manda un problema di matematica AIME (es. “Trova il minor intero positivo n tale che n² + n + 41 sia composito”). Mostra le <think>...</think> traces complete e conta i token: di solito 5k-50k thinking, 100-500 final answer.
Manda invece “Ciao, come stai?”. Il modello dovrebbe non pensare molto. Verifica.
Misura latenza con e senza thinking esplicitamente attivo. Confronta su 5 task hard e 5 task easy.
Bonus: leggi DeepSeek-R1 paper (arXiv:2501.12948) e annota le tabelle di scaling. Vedrai due assi: training compute e thinking length.

Take-away

I reasoning model non sono una nuova architettura: sono lo stesso transformer addestrato a “pagare l’intelligenza in token a runtime invece che in parametri statici”. Hanno aperto un nuovo asse di scaling che non esisteva 2 anni fa. Tradurranno presto la frase “scala fino al cervello umano” da “compriamo 10x più GPU” a “lascia che il modello ci pensi 10x più a lungo”.

➡️ Prossima puntata: TEST — leggi e annota un paper di 6 pagine.