Amerykański start-up Tiiny AI zaprezentował coś, co nazywa najmniejszą na świecie sztuczną inteligencją (AI) – „AI Pocket Lab”. Urządzenie jest na tyle małe, że mieści się w kieszeni i może uruchamiać złożone modele AI, w tym te zawierające 120 miliardów parametrów, lokalnie, bez połączenia z Internetem. To znaczący krok w kierunku udostępnienia zaawansowanych technologii sztucznej inteligencji bez potrzeby tworzenia ogromnych, energochłonnych centrów danych.
Era przetwarzania brzegowego
Szczególnie godna uwagi jest zdolność Pocket Lab do uruchamiania dużych modeli językowych (LLM) niezależnie od sieci, ponieważ modele te zazwyczaj wymagają infrastruktury na poziomie centrum danych. Urządzenie pozwala na lokalne kodowanie eksperckie, analizę dokumentów i złożone wnioskowanie. Jest to część szerszego trendu w kierunku przetwarzania brzegowego, który przenosi przetwarzanie sztucznej inteligencji ze scentralizowanych serwerów na małe, zdecentralizowane urządzenia. Celem jest zmniejszenie zużycia energii i wpływu sztucznej inteligencji na środowisko, która szybko się rozwija.
Dane techniczne: Moc w małym opakowaniu
AI Pocket Lab napędzany jest 12-rdzeniowym procesorem ARM, podobnym do tych spotykanych w smartfonach, laptopach i tabletach, ale z jedną różnicą: zawiera 80 GB pamięci RAM LPDDR5X. Dla porównania, większość laptopów ma pojemność od 8 GB do 32 GB. Znaczna część, 48 GB, tej pamięci RAM jest przeznaczona na jednostkę przetwarzania neuronowego (NPU), chip zaprojektowany w celu przyspieszenia zadań AI. Nowoczesne procesory Intel i AMD zawierają teraz jednostki NPU, które spełniają progi wydajności dla funkcji obsługujących sztuczną inteligencję w systemach takich jak Windows 11.
Wymiary urządzenia to zaledwie 5,59 × 3,15 × 1,00 cala (14,2 × 8 × 2,53 cm), a jego moc obliczeniowa sięga 190 TOPS (biliard operacji na sekundę), co kwalifikuje je jako superkomputer ze względu na jego zdolność do lokalnego wnioskowania na dużych modelach językowych, takich jak GPT-OSS 120B, modele Phi i modele z rodziny Lamy.
TurboSparse i PowerInfer: sekret sukcesu
Tiiny AI osiągnęła tę miniaturyzację dzięki dwóm kluczowym innowacjom. Pierwszy z nich to TurboSparse, który optymalizuje wydajność LLM poprzez selektywne aktywowanie tylko niezbędnych parametrów modelu na każdym etapie przetwarzania – w przeciwieństwie do tradycyjnych modeli, które ładują wszystkie parametry na raz. To znacznie zmniejsza wymagania sprzętowe. Drugi to PowerInfer, który dynamicznie planuje zadania pomiędzy procesorem, procesorem graficznym i NPU, zapewniając, że każdy procesor obsłuży tylko te obciążenia, do których najlepiej się nadaje, maksymalizując wydajność i minimalizując zużycie energii.
Poza centrum danych: prywatność i dostępność
Implikacje tego urządzenia są dalekosiężne. Oprócz zmniejszenia zależności od energochłonnych centrów danych, Pocket Lab oferuje znaczne korzyści w zakresie prywatności. Użytkownicy mogą wdrażać zaawansowane rozwiązania LLM bez łączenia się z Internetem i przesyłania danych do zewnętrznych dostawców usług w chmurze. Otwiera to możliwość dostępu do sztucznej inteligencji w odległych lokalizacjach – takich jak stacje badawcze, statki czy samoloty – gdzie łączność jest ograniczona.
AI Pocket Lab oznacza wymierną zmianę w dostępności sztucznej inteligencji, przenosząc władzę z scentralizowanej infrastruktury w ręce indywidualnych użytkowników.
Ta innowacja podkreśla rosnący trend w kierunku decentralizacji sztucznej inteligencji, czyniąc ją bardziej odporną, prywatną i dostępną niż kiedykolwiek wcześniej.
