✔️✔️ Doppie Spunte Blu Cap. 12 · Il bestiario dei modelli

Puntata 129

Puntata 129 — AI sul telefono

Livello: ✔️✔️ Doppie Spunte Blu · Capitolo 12 · Il bestiario dei modelli

Il modello che non sale mai nel cloud. Privacy, latenza bassa, no-roaming, no-bollette. Il limite: gira su una scheda che pesa 200g e si scarica in 6 ore.

due smartphone aperti. A sinistra il “vecchio mondo”: app che mandano richieste a un cloud lontano (pacchetti che volano via internet). A destra il “nuovo mondo”: un piccolo chip neurale rosseggiante che lavora dentro il telefono, con un lucchetto verde sopra (“on-device”)

Cos’è “AI on-device”

Significa eseguire un modello AI direttamente nel hardware del telefono (o smartwatch, occhiali, laptop), senza mandare dati a un server.

L’opposto è il modello cloud: tu scrivi a ChatGPT, la richiesta viaggia ai server OpenAI in qualche datacenter US, gira lì, torna indietro.

Trade-off:

CloudOn-device
Qualità modello⭐⭐⭐⭐⭐ frontier⭐⭐ piccolo (1-8B)
Latency~1-3s~100-500ms
Privacydati al providerdati restano sul device
Offline❌ no internet, no AI✅ funziona senza rete
Costo per query$$gratis (consumi batteria)
Batteriapocamolta (il modello “lavora”)
Memoria RAMpocamolta (il modello “vive” lì)

L’AI on-device non sostituisce il cloud. Affianca. Use case diversi.

I 4 player principali (2026)

1. Apple Intelligence (iPhone, iPad, Mac)

  • Lanciato a settembre 2024 con iOS 18, esteso nel 2025-26.
  • Modello on-device: ~3B parametri (“Apple Foundation Model”).
  • Cloud privato: Private Cloud Compute — server Apple specializzati per task più pesanti, senza salvataggio dati.
  • Integrato con: Mail, Messages, Notes, Siri, Photos, Pages, Keynote, Numbers.
  • Capabilities: writing tools, image generation (Image Playground), Genmoji, smart replies, summarization, translation.

Distintivo: privacy by design. Tutto on-device per default; quando serve cloud, è “private cloud” con garanzie crittografiche.

2. Gemini Nano (Android, Pixel, Chrome)

  • Sul Pixel da fine 2023, espanso a tutto Android moderno.
  • Modello on-device: ~3-4B parametri.
  • Capabilities: Live Caption (sottotitoli realtime, anche offline), Magic Compose (smart reply nei messaggi), Recorder summaries, Pixel Studio (image gen), TalkBack descriptions.
  • Su Chrome: API Prompt API e Summarizer API per developer web.

Distintivo: integrato in Android sistema, accessibile via API da app terze.

3. Microsoft Copilot+ PC (Windows)

  • Lanciato a maggio 2024.
  • Modelli on-device su CPU/NPU dedicato (Snapdragon X Elite, AMD Ryzen AI, Intel Lunar Lake).
  • Capabilities: Recall (cronologia ricerca), Live Captions, Cocreator (image gen in Paint), Studio Effects (camera).

Distintivo: AI integrata in Windows, hardware NPU dedicato (40+ TOPS) come requisito.

4. Modelli open on-device (multi-vendor)

  • Llama 3.2 1B / 3B (Meta).
  • Phi-4 mini / Phi-4 mobile (Microsoft).
  • Gemma 3 small (Google open).
  • Mistral Ministral (Mistral).
  • Qwen 3 small (Alibaba).

Distribuiti tramite app come MLC LLM, Ollama mobile, Apple MLX, LiteRT (ex TensorFlow Lite).

Hardware: i chip neurali

I telefoni moderni hanno NPU dedicati (Neural Processing Unit) per AI on-device:

Chip / DeviceNPU (~TOPS)Caratteristiche
iPhone 16/17 (A18/A19)~35-40Apple Neural Engine, 16 core dedicati
Pixel 9/10 (Tensor G4/G5)~30-40Co-progettato con DeepMind
Galaxy S25 (Snapdragon 8 Gen 4)~45Qualcomm Hexagon NPU
Copilot+ PC (Snapdragon X)45+NPU dedicata per Windows AI
MacBook M4/M538-60Neural Engine + Unified Memory enorme

TOPS = Trillion Operations Per Second. Indicativo: 30+ TOPS = abbastanza per modelli 3-7B quantizzati a velocità interattiva.

Trend 2026: ogni device nuovo ha NPU 30+ TOPS. AI on-device diventa assunzione di base, non feature premium.

Cosa funziona BENE on-device

Task in cui modelli 1-8B quantizzati sono utilmente competitivi:

✅ Smart reply

Suggerire 3 risposte brevi a un messaggio. Modello piccolo basta.

✅ Summarization breve

Riassumere mail, conversazione, articolo breve. Qualità decente.

✅ Live caption / transcription

Audio → testo realtime. Funziona offline su aereo, in metro.

✅ Translation base

Traduzioni di frasi/menu. Qualità Google Translate-like.

✅ Image classification

Riconoscere oggetti, persone (con consent), categorie. Già da anni nei device.

✅ Voice command parsing

“Hey Siri/Google: ricordami di chiamare mamma lunedì”. Niente cloud.

✅ Text completion intelligente

Suggerimenti durante scrittura, autocomplete con contesto.

✅ Image generation basica

Pixel Studio, Apple Image Playground, Microsoft Cocreator: immagini “cartoonish” o “stylized”, non foto-realistiche di altissima qualità.

Cosa NON funziona on-device (ancora)

❌ Frontier reasoning

Per matematica/coding complesso, serve modello grande → cloud.

❌ Long context (>32k token)

Il telefono non ha memoria per gestire context window enormi.

❌ Multimodalità ricca (video, audio long-form)

Cloud necessario.

❌ Conoscenza enciclopedica

Un modello 3B non sa molto. Per Q&A factual: cloud o RAG.

❌ Generazione lunga di alta qualità

Articoli, codice complesso: cloud meglio.

L’architettura ibrida “cloud + on-device”

Sistemi moderni combinano i due:

User input
  ↓
On-device router (NPU): "Posso rispondere io?"
  ↓
SÌ → Risposta locale (privata, veloce)
NO → Inoltro a cloud (con consenso)

Esempio: Apple Intelligence.

  • Domanda “riassumi questa mail” → on-device.
  • Domanda “come funziona la fotosintesi?” → fallback a Private Cloud o ChatGPT (con scelta utente, integrazione esplicita).

Esempio: Gemini.

  • App Gemini su Android: usa Nano per task semplici, escalation a Pro per il resto.

Privacy: il vantaggio strutturale

Il vero valore di on-device è la privacy:

  • ✅ Conversazioni con AI restano sul tuo device.
  • ✅ Foto analizzate per “trovare le foto della spiaggia” non escono dal telefono.
  • ✅ Email riassunte non passano da server di terzi.
  • ✅ Mai mai “training” sui tuoi dati.

Per chi vive sotto GDPR strict, HIPAA (sanità US), regolamentazioni governative: on-device è spesso l’unica opzione legalmente accettabile.

I limiti del marketing “AI on-device”

⚠️ Non sempre quello che le pubblicità chiamano “AI on-device” lo è davvero. Spesso è un mix:

  • Parte locale (riconoscimento iniziale).
  • Parte cloud (elaborazione vera).
  • Marketing presenta tutto come “on-device”.

Verifica nei termini: dove vanno i dati? In che condizioni si attiva il cloud? Posso disabilitare la parte cloud?

Apple è la più trasparente nel 2026, Google ha buone documentazioni, altri produttori meno.

Custom on-device con Ollama mobile / MLX

Per developer / power user, oggi puoi:

Su Mac (Apple Silicon)

  • Ollama (mac app): scarica Llama 3.2, Mistral, Phi, gira locale.
  • LM Studio: GUI nativa Mac.
  • MLX (framework Apple): gira modelli ottimizzati per Neural Engine + Unified Memory.

Su iPhone/iPad

  • App come PocketAI, MLC Chat, Private LLM, Apple Container (in roadmap): scaricano modelli da HuggingFace e li runnano localmente. Limitato per RAM, ma 1-3B funzionano.

Su Android

  • App come MLC LLM, PocketPal.

Use case: utenti tech, sperimentazioni, casi privacy-critical estremi.

L’edge oltre il telefono

Same logic, hardware diverso:

  • Smart glasses (Meta Ray-Ban, Apple Vision, Android XR): AI on-device per descrivere scene, tradurre cartelli.
  • Smartwatch (Apple Watch, Pixel Watch): modelli minimi per voice + health analytics.
  • Auto (Tesla, Mercedes, BYD): modelli on-device per assistente vocale, navigazione predittiva.
  • IoT casa (smart speaker, security cam): NPU dedicati per privacy + offline.

Vedi puntata 277 (smart glasses + AI, livello Yoda).

TEST pratico (10 minuti)

Se hai un iPhone 16+/17 o Mac M1+:

  1. Apri Apple Notes e seleziona un paragrafo.
  2. Tap su “Apple Intelligence → Riassumi” / “Riformula” / “Correggi”.
  3. Misura: è istantaneo, o c’è un piccolo delay? Quale qualità?
  4. Disattiva il WiFi e ripeti — funziona ancora?

Se hai un Pixel 8+ o Android moderno:

  1. Apri Recorder app.
  2. Registra 30 secondi di parlato.
  3. Tap “Summary” — viene generato on-device.
  4. Modalità aereo + ripeti — dovrebbe funzionare lo stesso.

Se hai un Copilot+ PC (Snapdragon X):

  1. Apri Paint, vai a Cocreator.
  2. Scrivi un prompt visivo — l’immagine viene generata localmente in pochi secondi.

Sorpresa: molti task quotidiani sono già on-device, senza che te ne accorga. Privacy by default.

Take-away in una riga

On-device AI ≠ cloud AI inferiore. È un’altra categoria: privacy + latency + offline. Per il 30% dei task quotidiani, è già la scelta migliore — e il 30% sale rapidamente.

➡️ Prossima puntata: TEST — scegli il modello per 10 use case.