Una startup statunitense, Tiiny AI, ha svelato quello che sostiene sia il più piccolo supercomputer di intelligenza artificiale (AI) del mondo: l’“AI Pocket Lab”. Questo dispositivo, abbastanza piccolo da stare in tasca, vanta la capacità di eseguire modelli IA complessi, compresi quelli con 120 miliardi di parametri, localmente senza una connessione Internet. Ciò segna un passo significativo verso l’accessibilità dell’intelligenza artificiale all’avanguardia senza fare affidamento su enormi data center ad alta intensità energetica.
L’ascesa dell’intelligenza artificiale Edge
La capacità di Pocket Lab di eseguire modelli linguistici di grandi dimensioni (LLM) in modo indipendente è notevole perché questi modelli richiedono in genere un’infrastruttura a livello di data center. Il dispositivo consente la codifica locale a livello di esperto, l’analisi dei documenti e il ragionamento complesso. Ciò fa parte di una tendenza più ampia verso l’edge computing, in cui l’elaborazione dell’intelligenza artificiale si sposta da server centralizzati a dispositivi più piccoli e decentralizzati. L’obiettivo è ridurre il consumo energetico e l’impatto ambientale dell’intelligenza artificiale, che sta crescendo rapidamente.
Specifiche tecniche: potenza in un piccolo pacchetto
L’AI Pocket Lab racchiude un processore ARM a 12 core, simile a quelli presenti in smartphone, laptop e tablet, ma con una svolta: include 80 GB di RAM LPDDR5X. Per fare un confronto, la maggior parte dei laptop contiene tra 8 GB e 32 GB. Ben 48 GB di questa RAM sono dedicati all’unità di elaborazione neurale (NPU), un chip progettato per accelerare le attività dell’intelligenza artificiale. Le moderne CPU di Intel e AMD ora includono NPU per soddisfare le soglie prestazionali per le funzionalità abilitate all’intelligenza artificiale in sistemi come Windows 11.
Il dispositivo misura solo 5,59 × 3,15 × 1,00 pollici (14,2 × 8 × 2,53 cm) e fornisce 190 TOPS (trilioni di operazioni al secondo) di potenza di calcolo, qualificandolo come un supercomputer grazie alla sua capacità di inferenza locale su enormi modelli linguistici come GPT-OSS 120B, modelli Phi e modelli della famiglia Llama.
TurboSparse e PowerInfer: la salsa segreta
Tiiny AI ha ottenuto questa miniaturizzazione attraverso due innovazioni chiave. Il primo è TurboSparse, che ottimizza le prestazioni LLM attivando selettivamente solo i parametri del modello necessari per ogni fase di elaborazione, a differenza dei modelli tradizionali che caricano tutti i parametri contemporaneamente. Ciò riduce drasticamente i requisiti hardware. Il secondo è PowerInfer, che pianifica dinamicamente le attività su CPU, GPU e NPU, garantendo che ciascun processore gestisca solo i carichi di lavoro per cui è più adatto, massimizzando l’efficienza e riducendo al minimo il consumo di energia.
Oltre i data center: privacy e accessibilità
Le implicazioni di questo dispositivo sono di vasta portata. Oltre a ridurre la dipendenza dai data center ad alta intensità energetica, Pocket Lab offre notevoli vantaggi in termini di privacy. Gli utenti possono implementare potenti LLM senza connettersi a Internet o condividere dati con provider cloud di terze parti. Ciò apre opportunità per l’accesso all’intelligenza artificiale in ambienti remoti – come stazioni di ricerca, navi o aerei – dove la connettività è limitata.
L’AI Pocket Lab rappresenta un cambiamento tangibile nell’accessibilità dell’IA, spostando il potere dalle infrastrutture centralizzate nelle mani dei singoli utenti.
Questa innovazione sottolinea la crescente tendenza alla decentralizzazione dell’intelligenza artificiale, rendendola più sostenibile, privata e accessibile che mai.
