Стартап із США, Tiiny AI, представив те, що вони називають найменшим у світі штучним інтелектом (ІІ) – “AI Pocket Lab”. Цей пристрій досить компактний, щоб поміститися в кишені, здатний запускати складні ІІ-моделі, включаючи ті, які містять 120 мільярдів параметрів, локально, без підключення до інтернету. Це значний крок до того, щоб зробити передові ІІ-технології доступними без використання величезних, енергоємних центрів обробки даних.
Ера периферійних обчислень
Здатність Pocket Lab запускати великі мовні моделі (LLM) незалежно від мережі є особливо примітною, оскільки ці моделі зазвичай потребують інфраструктури рівня центрів обробки даних. Пристрій дозволяє локально виконувати експертне кодування, аналіз документів та складні міркування. Це частина ширшої тенденції до периферійних обчислень, коли обробка ІІ переноситься з централізованих серверів на невеликі, децентралізовані пристрої. Мета – знизити енергоспоживання та екологічний вплив ІІ, який стрімко зростає.
Технічні характеристики: міць у мініатюрному корпусі
AI Pocket Lab оснащений 12-ядерним процесором ARM, аналогічним тим, які використовуються в смартфонах, ноутбуках і планшетах, але з однією особливістю: він включає 80 ГБ оперативної пам’яті LPDDR5X. Для порівняння більшість ноутбуків містять від 8 до 32 ГБ. Значна частина, 48 ГБ, цієї оперативної пам’яті виділено для нейронного процесора (NPU) – чіпа, призначеного для прискорення задач ІІ. Сучасні процесори Intel та AMD тепер включають NPU, щоб відповідати граничним значенням продуктивності для функцій з підтримкою ІІ в системах, таких як Windows 11.
Розміри пристрою становлять всього 5.59 × 3.15 × 1.00 дюйма (14.2 × 8 × 2.53 см), а його обчислювальна потужність досягає 190 TOPS (трильйонів операцій в секунду), що кваліфікує його як суперкомп’ютер завдяки його здатності до локального виводу на великих мовах 2 та моделі сімейства Llama.
TurboSparse & PowerInfer: секрет успіху
Tiiny AI досягла цієї мініатюризації завдяки двом ключовим інноваціям. Перша – TurboSparse, яка оптимізує продуктивність LLM, вибірково активуючи лише необхідні параметри моделі для кожного етапу обробки – на відміну від традиційних моделей, які завантажують усі параметри одразу. Це значно знижує апаратні вимоги. Друга – PowerInfer, яка динамічно планує завдання між ЦП, графічним процесором та NPU, забезпечуючи, щоб кожен процесор обробляв лише ті робочі навантаження, для яких він найкраще підходить, максимізуючи ефективність та зводячи до мінімуму енергоспоживання.
За межами центрів обробки даних: конфіденційність та доступність
Наслідки появи цього пристрою далекосяжні. Окрім зниження залежності від енергоємних центрів обробки даних, Pocket Lab пропонує значні переваги щодо конфіденційності. Користувачі можуть розгортати потужні LLM, не підключаючись до інтернету та не передаючи дані стороннім хмарним провайдерам. Це відкриває можливості для доступу до ІІ у віддалених місцях – таких як дослідницькі станції, кораблі або літаки – де можливості підключення обмежені.
AI Pocket Lab знаменує собою відчутний зрушення в доступності ІІ, переміщуючи владу подалі від централізованої інфраструктури та до рук окремих користувачів.
Ця інновація підкреслює зростаючу тенденцію до децентралізації ІІ, роблячи його більш стійким, конфіденційним і доступним, ніж будь-коли раніше.
