Всего 14 мегабайт весит языковая модель, которая может управлять устройством. Needle 2 от стартапа Cactus состоит из 45 миллионов параметров и целиком помещается в один 14-мегабайтный файл вместе с движком. Для сравнения, привычные большие языковые модели содержат миллиарды параметров, веся при этом десятки и сотни гигабайт. Needle кратно меньше их и требует для работы всего 28 мегабайт оперативной памяти.
Конечно, поговорить по душам с такой LLM, в отличие от ChatGPT, не получится. Разработчики Needle пожертвовали универсальностью ради того, чтобы сделать её функциональной. Модель понимает человеческую команду и превращает её в вызов нужной функции. Например, фразу «выключи свет в спальне» она может превратить в команду для умного дома, а просьбу поставить таймер – в обращение к соответствующей функции устройства. Поэтому модель можно запускать локально на телефонах, часах, телевизорах, Raspberry Pi и даже микроконтроллерах.
Экспериментальные языковые модели размером в несколько мегабайт существовали и раньше, но обычно умели лишь генерировать очень простой и довольно бесполезный текст. Из Needle же удалось сделать подходящий для определённых сценариев компонент умных устройств.