Ein US-Startup, Tiiny AI, hat den angeblich kleinsten Supercomputer der Welt mit künstlicher Intelligenz (KI) vorgestellt – das „AI Pocket Lab“. Dieses Gerät ist klein genug, um in Ihre Tasche zu passen, und bietet die Möglichkeit, komplexe KI-Modelle, einschließlich solcher mit 120 Milliarden Parametern, lokal ohne Internetverbindung auszuführen. Dies stellt einen bedeutenden Schritt dar, um modernste KI zugänglich zu machen, ohne auf riesige, energieintensive Rechenzentren angewiesen zu sein.
Der Aufstieg der Edge-KI
Die Fähigkeit des Pocket Lab, große Sprachmodelle (LLMs) unabhängig auszuführen, ist bemerkenswert, da diese Modelle typischerweise eine Infrastruktur auf Rechenzentrumsebene erfordern. Das Gerät ermöglicht lokale Kodierung auf Expertenebene, Dokumentenanalyse und komplexe Argumentation. Dies ist Teil eines umfassenderen Trends zum Edge Computing, bei dem sich die KI-Verarbeitung von zentralen Servern auf kleinere, dezentrale Geräte verlagert. Ziel ist es, den Stromverbrauch und die Umweltbelastung durch KI zu reduzieren, die rasant zunimmt.
Technische Daten: Leistung in einem winzigen Paket
Das AI Pocket Lab verfügt über einen 12-Kern-ARM-Prozessor, ähnlich denen, die in Smartphones, Laptops und Tablets zu finden sind, jedoch mit einer Besonderheit: Er verfügt über 80 GB LPDDR5X-RAM. Zum Vergleich: Die meisten Laptops enthalten zwischen 8 GB und 32 GB. Ganze 48 GB dieses Arbeitsspeichers sind für die Neural Processing Unit (NPU) reserviert, einen Chip, der KI-Aufgaben beschleunigen soll. Moderne CPUs von Intel und AMD enthalten jetzt NPUs, um Leistungsschwellenwerte für KI-fähige Funktionen in Systemen wie Windows 11 zu erfüllen.
Das Gerät misst nur 14,2 × 8 × 2,53 cm (5,59 × 3,15 × 1,00 Zoll) und liefert eine Rechenleistung von 190 TOPS (Billionen Operationen pro Sekunde), was es aufgrund seiner Fähigkeit zur lokalen Inferenz auf massiven Sprachmodellen wie GPT-OSS 120B, Phi-Modellen und Modellen der Llama-Familie als Supercomputer qualifiziert.
TurboSparse & PowerInfer: Die geheime Soße
Tiiny AI erreichte diese Miniaturisierung durch zwei Schlüsselinnovationen. Das erste ist TurboSparse, das die LLM-Leistung optimiert, indem es selektiv nur die notwendigen Modellparameter für jeden Verarbeitungsschritt aktiviert – im Gegensatz zu herkömmlichen Modellen, die alle Parameter auf einmal laden. Dadurch werden die Hardwareanforderungen drastisch reduziert. Das zweite ist PowerInfer, das Aufgaben dynamisch über CPU, GPU und NPU verteilt und so sicherstellt, dass jeder Prozessor nur die Arbeitslasten verarbeitet, für die er am besten geeignet ist, wodurch die Effizienz maximiert und der Stromverbrauch minimiert wird.
Jenseits von Rechenzentren: Datenschutz und Zugänglichkeit
Die Auswirkungen dieses Geräts sind weitreichend. Das Pocket Lab verringert nicht nur die Abhängigkeit von energieintensiven Rechenzentren, sondern bietet auch erhebliche Vorteile für den Datenschutz. Benutzer können leistungsstarke LLMs bereitstellen, ohne eine Verbindung zum Internet herzustellen oder Daten mit Cloud-Drittanbietern zu teilen. Dies eröffnet Möglichkeiten für den KI-Zugriff in abgelegenen Umgebungen – wie Forschungsstationen, Schiffen oder Flugzeugen – wo die Konnektivität begrenzt ist.
Das AI Pocket Lab stellt einen spürbaren Wandel in der Zugänglichkeit von KI dar und verlagert die Macht weg von der zentralisierten Infrastruktur und in die Hände einzelner Benutzer.
Diese Innovation unterstreicht den wachsenden Trend zur Dezentralisierung der KI und macht sie nachhaltiger, privater und zugänglicher als je zuvor.
