Una startup estadounidense, Tiiny AI, ha presentado lo que afirma es la supercomputadora de inteligencia artificial (IA) más pequeña del mundo: el “AI Pocket Lab”. Este dispositivo, lo suficientemente pequeño como para caber en su bolsillo, cuenta con la capacidad de ejecutar modelos complejos de IA, incluidos aquellos con 120 mil millones de parámetros, localmente sin conexión a Internet. Esto marca un paso significativo hacia hacer accesible la IA de vanguardia sin depender de centros de datos masivos que consumen mucha energía.
El auge de la IA de vanguardia
La capacidad de Pocket Lab para ejecutar grandes modelos de lenguaje (LLM) de forma independiente es notable porque estos modelos generalmente requieren una infraestructura a nivel de centro de datos. El dispositivo permite codificación local a nivel de expertos, análisis de documentos y razonamiento complejo. Esto es parte de una tendencia más amplia hacia la computación de punta, donde el procesamiento de IA pasa de servidores centralizados a dispositivos más pequeños y descentralizados. El objetivo es reducir el consumo de energía y el impacto medioambiental de la IA, que está creciendo rápidamente.
Especificaciones técnicas: potencia en un paquete pequeño
El AI Pocket Lab incluye un procesador ARM de 12 núcleos, similar a los que se encuentran en teléfonos inteligentes, computadoras portátiles y tabletas, pero con una novedad: incluye 80 GB de RAM LPDDR5X. A modo de comparación, la mayoría de los portátiles contienen entre 8 GB y 32 GB. Una cantidad sustancial de 48 GB de esta RAM está dedicada a la unidad de procesamiento neuronal (NPU), un chip diseñado para acelerar las tareas de IA. Las CPU modernas de Intel y AMD ahora incluyen NPU para cumplir con los umbrales de rendimiento para funciones habilitadas para IA en sistemas como Windows 11.
El dispositivo mide sólo 5,59 × 3,15 × 1,00 pulgadas (14,2 × 8 × 2,53 cm) y ofrece 190 TOPS (billones de operaciones por segundo) de potencia informática, lo que lo califica como una supercomputadora debido a su capacidad de inferencia local en modelos de lenguaje masivo como GPT-OSS 120B, modelos Phi y modelos de la familia Llama.
TurboSparse y PowerInfer: la salsa secreta
Tiiny AI logró esta miniaturización a través de dos innovaciones clave. El primero es TurboSparse, que optimiza el rendimiento de LLM activando selectivamente solo los parámetros del modelo necesarios para cada paso de procesamiento, a diferencia de los modelos tradicionales que cargan todos los parámetros a la vez. Esto reduce drásticamente los requisitos de hardware. El segundo es PowerInfer, que programa dinámicamente tareas en la CPU, GPU y NPU, asegurando que cada procesador maneje solo las cargas de trabajo para las que es más adecuado, maximizando la eficiencia y minimizando el consumo de energía.
Más allá de los centros de datos: privacidad y accesibilidad
Las implicaciones de este dispositivo son de gran alcance. Más allá de reducir la dependencia de los centros de datos que consumen mucha energía, Pocket Lab ofrece importantes beneficios de privacidad. Los usuarios pueden implementar potentes LLM sin conectarse a Internet ni compartir datos con proveedores de nube externos. Esto abre oportunidades para el acceso a la IA en entornos remotos (como estaciones de investigación, barcos o aviones) donde la conectividad es limitada.
El AI Pocket Lab representa un cambio tangible en la accesibilidad de la IA, trasladando el poder de la infraestructura centralizada a manos de usuarios individuales.
Esta innovación subraya la creciente tendencia a descentralizar la IA, haciéndola más sostenible, privada y accesible que nunca.
