Uma startup dos EUA, Tiiny AI, revelou o que afirmam ser o menor supercomputador de inteligência artificial (IA) do mundo – o “AI Pocket Lab”. Este dispositivo, pequeno o suficiente para caber no seu bolso, possui a capacidade de executar modelos complexos de IA, incluindo aqueles com 120 bilhões de parâmetros, localmente, sem conexão com a Internet. Isso marca um passo significativo para tornar a IA de ponta acessível sem depender de data centers massivos e que consomem muita energia.
A ascensão da IA de ponta
A capacidade do Pocket Lab de executar grandes modelos de linguagem (LLMs) de forma independente é notável porque esses modelos normalmente exigem infraestrutura em nível de data center. O dispositivo permite codificação local de nível especializado, análise de documentos e raciocínio complexo. Isso faz parte de uma tendência mais ampla em direção à computação de ponta, onde o processamento de IA muda de servidores centralizados para dispositivos menores e descentralizados. O objetivo é reduzir o consumo de energia e o impacto ambiental da IA, que está a crescer rapidamente.
Especificações técnicas: potência em um pacote minúsculo
O AI Pocket Lab vem com um processador ARM de 12 núcleos, semelhante aos encontrados em smartphones, laptops e tablets, mas com uma diferença: inclui 80 GB de RAM LPDDR5X. Para efeito de comparação, a maioria dos laptops contém entre 8 GB e 32 GB. Substanciais 48 GB dessa RAM são dedicados à unidade de processamento neural (NPU), um chip projetado para acelerar tarefas de IA. CPUs modernas da Intel e AMD agora incluem NPUs para atender aos limites de desempenho para recursos habilitados para IA em sistemas como o Windows 11.
O dispositivo mede apenas 5,59 × 3,15 × 1,00 polegadas (14,2 × 8 × 2,53 cm) e oferece 190 TOPS (trilhões de operações por segundo) de poder de computação, qualificando-o como um supercomputador devido à sua capacidade de inferência local em modelos de linguagem massiva, como GPT-OSS 120B, modelos Phi e modelos da família Llama.
TurboSparse e PowerInfer: o molho secreto
A Tiiny AI alcançou essa miniaturização por meio de duas inovações importantes. O primeiro é o TurboSparse, que otimiza o desempenho do LLM ativando seletivamente apenas os parâmetros do modelo necessários para cada etapa de processamento – ao contrário dos modelos tradicionais que carregam todos os parâmetros de uma vez. Isso reduz drasticamente os requisitos de hardware. O segundo é o PowerInfer, que agenda tarefas dinamicamente na CPU, GPU e NPU, garantindo que cada processador lide apenas com as cargas de trabalho mais adequadas, maximizando a eficiência e minimizando o consumo de energia.
Além dos data centers: privacidade e acessibilidade
As implicações deste dispositivo são de longo alcance. Além de reduzir a dependência de data centers com uso intensivo de energia, o Pocket Lab oferece benefícios significativos de privacidade. Os usuários podem implantar LLMs poderosos sem se conectar à Internet ou compartilhar dados com provedores de nuvem terceirizados. Isto abre oportunidades para o acesso à IA em ambientes remotos – como estações de investigação, navios ou aeronaves – onde a conectividade é limitada.
O AI Pocket Lab representa uma mudança tangível na acessibilidade da IA, transferindo o poder da infraestrutura centralizada para as mãos de usuários individuais.
Esta inovação sublinha a tendência crescente de descentralização da IA, tornando-a mais sustentável, privada e acessível do que nunca.
