Startup AS, Tiiny AI, telah meluncurkan apa yang mereka klaim sebagai superkomputer kecerdasan buatan (AI) terkecil di dunia – “AI Pocket Lab.” Perangkat ini, cukup kecil untuk dimasukkan ke dalam saku Anda, menawarkan kemampuan untuk menjalankan model AI yang kompleks, termasuk model dengan 120 miliar parameter, secara lokal tanpa koneksi internet. Hal ini menandai langkah signifikan dalam menjadikan AI mutakhir dapat diakses tanpa bergantung pada pusat data besar dan boros energi.
Bangkitnya Edge AI
Kemampuan Pocket Lab untuk menjalankan model bahasa besar (LLM) secara mandiri sangat penting karena model ini biasanya memerlukan infrastruktur tingkat pusat data. Perangkat ini memungkinkan pengkodean lokal, tingkat ahli, analisis dokumen, dan penalaran kompleks. Ini adalah bagian dari tren yang lebih luas menuju edge computing, di mana pemrosesan AI beralih dari server terpusat ke perangkat yang lebih kecil dan terdesentralisasi. Tujuannya adalah untuk mengurangi konsumsi daya dan dampak AI terhadap lingkungan, yang berkembang pesat.
Spesifikasi Teknis: Kekuatan dalam Paket Kecil
AI Pocket Lab mengemas prosesor ARM 12-inti, mirip dengan yang ditemukan di ponsel cerdas, laptop, dan tablet, tetapi dengan keunikannya: dilengkapi dengan RAM LPDDR5X 80 GB. Sebagai perbandingan, kebanyakan laptop memiliki kapasitas antara 8 GB dan 32 GB. RAM sebesar 48 GB ini didedikasikan untuk unit pemrosesan saraf (NPU), sebuah chip yang dirancang untuk mempercepat tugas AI. CPU modern dari Intel dan AMD kini menyertakan NPU untuk memenuhi ambang batas performa untuk fitur berkemampuan AI dalam sistem seperti Windows 11.
Perangkat ini hanya berukuran 5,59 × 3,15 × 1,00 inci (14,2 × 8 × 2,53 cm) dan memberikan daya komputasi sebesar 190 TOPS (triliun operasi per detik), sehingga membuatnya memenuhi syarat sebagai superkomputer karena kapasitasnya untuk inferensi lokal pada model bahasa besar seperti GPT-OSS 120B, model Phi, dan model keluarga Llama.
TurboSparse & PowerInfer: Saus Rahasia
Tiiny AI mencapai miniaturisasi ini melalui dua inovasi utama. Yang pertama adalah TurboSparse, yang mengoptimalkan kinerja LLM dengan secara selektif hanya mengaktifkan parameter model yang diperlukan untuk setiap langkah pemrosesan – tidak seperti model tradisional yang memuat setiap parameter sekaligus. Hal ini secara signifikan mengurangi kebutuhan perangkat keras. Yang kedua adalah PowerInfer, yang secara dinamis menjadwalkan tugas di seluruh CPU, GPU, dan NPU, memastikan bahwa setiap prosesor hanya menangani beban kerja yang paling sesuai, memaksimalkan efisiensi dan meminimalkan penggunaan daya.
Selain Pusat Data: Privasi & Aksesibilitas
Dampak yang ditimbulkan dari perangkat ini sangat luas. Selain mengurangi ketergantungan pada pusat data yang boros energi, Pocket Lab juga menawarkan manfaat privasi yang signifikan. Pengguna dapat menerapkan LLM yang kuat tanpa terhubung ke internet atau berbagi data dengan penyedia cloud pihak ketiga. Hal ini membuka peluang bagi akses AI di lingkungan terpencil – seperti stasiun penelitian, kapal, atau pesawat terbang – yang konektivitasnya terbatas.
AI Pocket Lab mewakili perubahan nyata dalam aksesibilitas AI, mengalihkan kekuasaan dari infrastruktur terpusat ke tangan pengguna individu.
Inovasi ini menggarisbawahi tren desentralisasi AI yang semakin meningkat, menjadikannya lebih berkelanjutan, privat, dan mudah diakses dibandingkan sebelumnya.
