Americký startup Tiiny AI odhalil to, co nazývají nejmenší umělou inteligencí (AI) na světě – „AI Pocket Lab“. Dostatečně malé, aby se vešlo do kapsy, je zařízení schopno provozovat složité modely AI, včetně těch, které obsahují 120 miliard parametrů, lokálně bez připojení k internetu. Jde o významný krok ke zpřístupnění pokročilých technologií umělé inteligence bez nutnosti obrovských a energeticky náročných datových center.
Éra edge computingu
Schopnost Pocket Lab provozovat velké jazykové modely (LLM) nezávisle na síti je zvláště pozoruhodná, protože tyto modely obvykle vyžadují infrastrukturu na úrovni datových center. Zařízení umožňuje provádět expertní kódování, analýzu dokumentů a komplexní uvažování lokálně. Jde o součást širšího trendu směrem k edge computingu, který přesouvá zpracování AI z centralizovaných serverů na malá, decentralizovaná zařízení. Cílem je snížit spotřebu energie a dopad AI na životní prostředí, který rychle roste.
Specifikace: Napájení v malém balení
AI Pocket Lab je poháněno 12jádrovým procesorem ARM, podobným těm, které najdeme ve smartphonech, noteboocích a tabletech, ale s jedním obratem: obsahuje 80 GB LPDDR5X RAM. Pro srovnání, většina notebooků obsahuje mezi 8 GB a 32 GB. Významná část, 48 GB, této paměti RAM je věnována Neural Processing Unit (NPU), čipu navrženému pro urychlení úloh umělé inteligence. Moderní procesory Intel a AMD nyní obsahují NPU, aby splnily prahové hodnoty výkonu pro funkce s podporou AI na systémech, jako je Windows 11.
Rozměry zařízení jsou pouze 5,59 × 3,15 × 1,00 palce (14,2 × 8 × 2,53 cm) a jeho výpočetní výkon dosahuje 190 TOPS (bilionů operací za sekundu), což jej kvalifikuje jako superpočítač díky schopnosti místního odvození velkých jazykových modelů, jako jsou modely GPT-OSS, modely Phila 120B a rodina L.
TurboSparse & PowerInfer: tajemství úspěchu
Tiiny AI dosáhla této miniaturizace prostřednictvím dvou klíčových inovací. První je TurboSparse, která optimalizuje výkon LLM selektivní aktivací pouze nezbytných parametrů modelu pro každý krok zpracování – na rozdíl od tradičních modelů, které načítají všechny parametry najednou. To výrazně snižuje hardwarové nároky. Druhým je PowerInfer, který dynamicky plánuje úlohy mezi CPU, GPU a NPU a zajišťuje, že každý procesor zvládá pouze pracovní zátěž, pro kterou se nejlépe hodí, maximalizuje efektivitu a minimalizuje spotřebu energie.
Mimo datové centrum: Soukromí a dostupnost
Důsledky tohoto zařízení jsou dalekosáhlé. Kromě snížení závislosti na energeticky náročných datových centrech nabízí Pocket Lab významné výhody v oblasti ochrany soukromí. Uživatelé mohou nasadit výkonné LLM bez připojení k internetu nebo přenosu dat poskytovatelům cloudu třetích stran. To otevírá možnost přístupu k AI na vzdálených místech – jako jsou výzkumné stanice, lodě nebo letadla – kde je konektivita omezená.
AI Pocket Lab představuje hmatatelný posun v dostupnosti umělé inteligence, přesouvá výkon z centralizované infrastruktury do rukou jednotlivých uživatelů.
Tato inovace zdůrazňuje rostoucí trend k decentralizaci AI, díky čemuž je odolnější, soukromější a přístupnější než kdykoli předtím.
