Стартап из США, Tiiny AI, представил то, что они называют самым маленьким в мире искусственным интеллектом (ИИ) – «AI Pocket Lab». Это устройство, достаточно компактное, чтобы поместиться в кармане, способно запускать сложные ИИ-модели, включая те, которые содержат 120 миллиардов параметров, локально, без подключения к интернету. Это значительный шаг к тому, чтобы сделать передовые ИИ-технологии доступными без использования огромных, энергоёмких центров обработки данных.
Эра периферийных вычислений
Способность Pocket Lab запускать большие языковые модели (LLM) независимо от сети особенно примечательна, поскольку эти модели обычно требуют инфраструктуры уровня центров обработки данных. Устройство позволяет локально выполнять экспертное кодирование, анализ документов и сложные рассуждения. Это часть более широкой тенденции к периферийным вычислениям, при которой обработка ИИ переносится с централизованных серверов на небольшие, децентрализованные устройства. Цель – снизить энергопотребление и экологическое воздействие ИИ, которое стремительно растёт.
Технические характеристики: мощь в миниатюрном корпусе
AI Pocket Lab оснащён 12-ядерным процессором ARM, аналогичным тем, которые используются в смартфонах, ноутбуках и планшетах, но с одной особенностью: он включает в себя 80 ГБ оперативной памяти LPDDR5X. Для сравнения, большинство ноутбуков содержат от 8 до 32 ГБ. Значительная часть, 48 ГБ, этой оперативной памяти выделена для нейронного процессора (NPU) – чипа, предназначенного для ускорения задач ИИ. Современные процессоры Intel и AMD теперь включают NPU, чтобы соответствовать пороговым значениям производительности для функций с поддержкой ИИ в системах, таких как Windows 11.
Размеры устройства составляют всего 5.59 × 3.15 × 1.00 дюйма (14.2 × 8 × 2.53 см), а его вычислительная мощность достигает 190 TOPS (триллионов операций в секунду), что квалифицирует его как суперкомпьютер благодаря его способности к локальному выводу на больших языковых моделях, таких как GPT-OSS 120B, модели Phi и модели семейства Llama.
TurboSparse & PowerInfer: секрет успеха
Tiiny AI добилась этой миниатюризации благодаря двум ключевым инновациям. Первая – TurboSparse, которая оптимизирует производительность LLM, выборочно активируя только необходимые параметры модели для каждого этапа обработки – в отличие от традиционных моделей, которые загружают все параметры сразу. Это значительно снижает аппаратные требования. Вторая – PowerInfer, которая динамически планирует задачи между ЦП, графическим процессором и NPU, обеспечивая, чтобы каждый процессор обрабатывал только те рабочие нагрузки, для которых он лучше всего подходит, максимизируя эффективность и сводя к минимуму энергопотребление.
За пределами центров обработки данных: конфиденциальность и доступность
Последствия появления этого устройства далеко идущие. Помимо снижения зависимости от энергоёмких центров обработки данных, Pocket Lab предлагает значительные преимущества в отношении конфиденциальности. Пользователи могут развертывать мощные LLM, не подключаясь к интернету и не передавая данные сторонним облачным провайдерам. Это открывает возможности для доступа к ИИ в удалённых местах – таких как исследовательские станции, корабли или самолёты, – где возможности подключения ограничены.
AI Pocket Lab знаменует собой ощутимый сдвиг в доступности ИИ, перемещая власть подальше от централизованной инфраструктуры и в руки отдельных пользователей.
Эта инновация подчёркивает растущую тенденцию к децентрализации ИИ, делая его более устойчивым, конфиденциальным и доступным, чем когда-либо прежде.
