Een Amerikaanse startup, Tiiny AI, heeft naar eigen zeggen de kleinste kunstmatige intelligentie (AI)-supercomputer ter wereld onthuld: het ‘AI Pocket Lab’. Dit apparaat, klein genoeg om in je zak te passen, beschikt over de mogelijkheid om complexe AI-modellen, inclusief modellen met 120 miljard parameters, lokaal uit te voeren zonder internetverbinding. Dit markeert een belangrijke stap in de richting van het toegankelijk maken van geavanceerde AI zonder afhankelijk te zijn van enorme, energie-intensieve datacenters.
De opkomst van Edge AI
Het vermogen van het Pocket Lab om grote taalmodellen (LLM’s) onafhankelijk uit te voeren is opmerkelijk omdat deze modellen doorgaans een infrastructuur op datacenterniveau vereisen. Het apparaat maakt lokale codering op expertniveau, documentanalyse en complex redeneren mogelijk. Dit maakt deel uit van een bredere trend richting edge computing, waarbij AI-verwerking verschuift van gecentraliseerde servers naar kleinere, gedecentraliseerde apparaten. Het doel is om het energieverbruik en de milieu-impact van AI, die snel groeit, te verminderen.
Technische specificaties: kracht in een klein pakketje
Het AI Pocket Lab bevat een 12-core ARM-processor, vergelijkbaar met die in smartphones, laptops en tablets, maar met een twist: hij bevat 80 GB LPDDR5X RAM. Ter vergelijking: de meeste laptops bevatten tussen de 8 GB en 32 GB. Een aanzienlijke 48 GB van dit RAM-geheugen is bestemd voor de neurale verwerkingseenheid (NPU), een chip die is ontworpen om AI-taken te versnellen. Moderne CPU’s van Intel en AMD bevatten nu NPU’s om te voldoen aan de prestatiedrempels voor AI-compatibele functies in systemen als Windows 11.
Het apparaat meet slechts 14,2 x 8 x 2,53 cm (5,59 x 3,15 x 1,00 inch) en levert 190 TOPS (biljoenen bewerkingen per seconde) aan rekenkracht, waardoor het wordt gekwalificeerd als een supercomputer vanwege zijn capaciteit voor lokale gevolgtrekking op enorme taalmodellen zoals GPT-OSS 120B, Phi-modellen en Llama-familiemodellen.
TurboSparse & PowerInfer: de geheime saus
Tiiny AI heeft deze miniaturisering bereikt door twee belangrijke innovaties. De eerste is TurboSparse, dat de LLM-prestaties optimaliseert door selectief alleen de noodzakelijke modelparameters voor elke verwerkingsstap te activeren – in tegenstelling tot traditionele modellen die elke parameter in één keer laden. Dit vermindert de hardwarevereisten dramatisch. De tweede is PowerInfer, dat taken dynamisch plant voor de CPU, GPU en NPU, zodat elke processor alleen de werklasten verwerkt waarvoor hij het meest geschikt is, waardoor de efficiëntie wordt gemaximaliseerd en het stroomverbruik wordt geminimaliseerd.
Verder dan datacenters: privacy en toegankelijkheid
De implicaties van dit apparaat zijn verstrekkend. Naast het verminderen van de afhankelijkheid van energie-intensieve datacenters, biedt het Pocket Lab aanzienlijke privacyvoordelen. Gebruikers kunnen krachtige LLM’s inzetten zonder verbinding te maken met internet of gegevens te delen met externe cloudproviders. Dit opent mogelijkheden voor AI-toegang in afgelegen omgevingen – zoals onderzoeksstations, schepen of vliegtuigen – waar de connectiviteit beperkt is.
Het AI Pocket Lab vertegenwoordigt een tastbare verschuiving in de toegankelijkheid van AI, waarbij de macht wordt verplaatst van de gecentraliseerde infrastructuur naar de handen van individuele gebruikers.
Deze innovatie onderstreept de groeiende trend van het decentraliseren van AI, waardoor het duurzamer, privéer en toegankelijker wordt dan ooit tevoren.
