Стартап PrismML взял за основу открытую модель Qwen на 27 миллиардов параметров и уменьшил размер более чем в 10 раз – с 54 гигабайт до 3,9 – сохранив примерно 90% качества ответов. После чего запустил её на iPhone 17 Pro Max. Полученную модель назвали Bonsai, она работает на телефоне, без обращения к облачным серверам, и отвечает с приемлемой скоростью (около 11 токенов в секунду). Модели с таким количеством параметров раньше в память смартфона не помещались.
Локальный ИИ не первый день развивают Apple, Google и другие производители устройств. Но чем больше (и, как правило, лучше) модель, тем больше памяти и энергии ей требуется. Поэтому на телефоны ставят облегчённые версии, распределяют задачи между несколькими специализированными моделями либо отправляют сложные запросы в облако. PrismML утверждает, что уменьшила Bonsai почти в 14 раз, сохранив около 90% качества оригинала в тестах. Менее сжатая версия занимает 5,9 ГБ и сохраняет уже около 95% качества ответов. Обе версии поддерживают контекст до 262 тысяч токенов и мультимодальность.
Такое сжатие интересно не только производителям смартфонов и ноутбуков. Более компактные модели можно устанавливать в роботов, автомобили и другую технику, а в дата-центрах – сокращать расходы на память и запускать более крупные модели на том же оборудовании. Правда, результаты PrismML пока почти не проверялись независимо, а сжатая Bonsai все ещё ошибается чаще исходной модели в сложных задачах и работе с изображениями. Тем не менее технологией уже оперативно заинтересовалась Apple: по данным The Information, компания тестирует модели стартапа и обсуждает возможное сотрудничество.