Une startup américaine, Tiiny AI, a dévoilé ce qu’elle prétend être le plus petit supercalculateur d’intelligence artificielle (IA) au monde – le « AI Pocket Lab ». Cet appareil, suffisamment petit pour tenir dans votre poche, offre la capacité d’exécuter des modèles d’IA complexes, y compris ceux comportant 120 milliards de paramètres, localement sans connexion Internet. Cela marque une étape importante vers l’accessibilité de l’IA de pointe sans dépendre de centres de données massifs et énergivores.
L’essor de l’IA de pointe
La capacité du Pocket Lab à exécuter des modèles de langage étendus (LLM) de manière indépendante est remarquable car ces modèles nécessitent généralement une infrastructure au niveau du centre de données. L’appareil permet un codage local de niveau expert, une analyse de documents et un raisonnement complexe. Cela fait partie d’une tendance plus large vers l’edge computing, où le traitement de l’IA passe des serveurs centralisés à des appareils plus petits et décentralisés. L’objectif est de réduire la consommation électrique et l’impact environnemental de l’IA, en forte croissance.
Spécifications techniques : la puissance dans un petit boîtier
L’AI Pocket Lab contient un processeur ARM à 12 cœurs, similaire à ceux que l’on trouve dans les smartphones, les ordinateurs portables et les tablettes, mais avec une particularité : il comprend 80 Go de RAM LPDDR5X. A titre de comparaison, la plupart des ordinateurs portables contiennent entre 8 Go et 32 Go. Une part importante de 48 Go de cette RAM est dédiée à l’unité de traitement neuronal (NPU), une puce conçue pour accélérer les tâches d’IA. Les processeurs modernes d’Intel et d’AMD incluent désormais des NPU pour atteindre les seuils de performances des fonctionnalités compatibles avec l’IA dans des systèmes comme Windows 11.
L’appareil ne mesure que 5,59 × 3,15 × 1,00 pouces (14,2 × 8 × 2,53 cm) et offre 190 TOPS (billions d’opérations par seconde) de puissance de calcul, le qualifiant de superordinateur en raison de sa capacité d’inférence locale sur des modèles de langage massifs tels que GPT-OSS 120B, les modèles Phi et les modèles de la famille Llama.
TurboSparse & PowerInfer : la sauce secrète
Tiiny AI a réalisé cette miniaturisation grâce à deux innovations clés. Le premier est TurboSparse, qui optimise les performances LLM en activant de manière sélective uniquement les paramètres de modèle nécessaires pour chaque étape de traitement, contrairement aux modèles traditionnels qui chargent chaque paramètre en même temps. Cela réduit considérablement les exigences matérielles. Le second est PowerInfer, qui planifie dynamiquement les tâches sur le CPU, le GPU et le NPU, garantissant que chaque processeur gère uniquement les charges de travail pour lesquelles il est le mieux adapté, maximisant l’efficacité et minimisant la consommation d’énergie.
Au-delà des centres de données : confidentialité et accessibilité
Les implications de ce dispositif sont considérables. Au-delà de la réduction de la dépendance aux centres de données énergivores, le Pocket Lab offre des avantages significatifs en matière de confidentialité. Les utilisateurs peuvent déployer de puissants LLM sans se connecter à Internet ni partager de données avec des fournisseurs de cloud tiers. Cela ouvre des opportunités d’accès à l’IA dans des environnements distants – tels que des stations de recherche, des navires ou des avions – où la connectivité est limitée.
L’AI Pocket Lab représente un changement tangible dans l’accessibilité de l’IA, en déplaçant le pouvoir de l’infrastructure centralisée vers les mains des utilisateurs individuels.
Cette innovation souligne la tendance croissante à décentraliser l’IA, la rendant plus durable, privée et accessible que jamais.
