Кишеньковий ШІ: новий гаджет запускає нейромережі без доступу до інтернету

Запуск нейромереж із 120 мільярдами параметрів прямо у кишені: стартап Tiiny AI представив гаджет, що замінює цілий дата-центр

Американський стартап Tiiny AI представив AI Pocket Lab – компактний пристрій, який розробники позиціонують як “кишеньковий суперкомп’ютер”. Гаджет призначений для локального запуску великих мовних моделей (LLM) без підключення до хмарних сервісів та стягнення абонплат.

Про це пише РБК-Україна з посиланням на офіційний сайт розробника.

Технічні характеристики та продуктивність

Ключова особливість AI Pocket Lab – “безпрецедентний” для таких габаритів обсяг пам’яті. За розмірами пристрій близький до смартфона (всього 14,2 × 8 см), однак має специфічну архітектуру.

Ключові параметри:

• Процесор: 12-ядерний чіп ARM;
• Пам’ять: 80 ГБ ОЗП LPDDR5X (48 ГБ виділено під NPU);
• Продуктивність: до 190 трильйонів операцій на секунду;
• Накопичувач: 1 ТБ SSD (PCIe 4.0);
• Живлення: споживання до 30 Вт (блок живлення на 65 Вт йде у комплекті).

Девайс не є повністю автономним ПК – він працює як зовнішній обчислювальний модуль для Windows, macOS або Linux. Розробники заявляють про підтримку понад 50 відкритих мовних моделей, включно з Llama 3.1, Qwen та DeepSeek.

Локальний ШІ без хмарного сховища

За словами розробників, гаджет здатний запускати моделі зі 120 мільярдами параметрів. Для порівняння: сучасні смартфони зазвичай здатні обробляти лише прості чат-боти на 8 мільярдів параметрів.

Основні переваги AI Pocket Lab:

• Конфіденційність: дані не передаються на сервери корпорацій. Все обробляється всередині пристрою.
• Жодних підписок: користувач платить за залізо один раз і отримує доступ до “флагманського” рівня ШІ без щомісячних платежів за токени.
• Автономність: ШІ доступний у місцях, де немає зв’язку або в умовах повної ізоляції від мережі.

Швидкість генерації становить від 18 до 40 токенів на секунду – це дозволяє використовувати гаджет як повноцінний робочий інструмент. Ціна AI Pocket Lab за попереднім замовленням становить від 1 299 до 1 399 доларів.