На iPhone запустили Qwen на 35 миллиардов параметров – локально, без облака и удалённых серверов. Смартфон с ней пишет софт, генерирует 3D-сцены и собирает простые игры, а пиковое потребление памяти разработчики оценивают всего в 1–2,5 ГБ. В основе лежт новый движок Edge0. Его настольную версию уже можно запустить на Mac, где та же 35-миллиардная модель занимает около 3 ГБ активной памяти и выдаёт примерно 15–18 токенов в секунду. Что для локальной модели такого уровня вполне адекватно.
Работает это всё так же благодаря MoE-архитектуре: модель состоит из отдельных экспертов, поэтому Edge0 не держит 35 миллиардов параметров в быстрой памяти, оставляя большую часть на SSD. Нужные блоки подгружаются по ходу работы, а отдельный предиктор заранее пытается определить, какие эксперты понадобятся следующими. На M4 Pro этого хватает примерно для 15–18 токенов в секунду – уже вполне нормальной скорости работы.
Дефицит памяти учит всех быть креативнее и изобретательнее. Если модели необязательно целиком держать в дорогой быстрой памяти, это меняет требования не только к ноутбукам и смартфонам, но потенциально и к серверам для инференса – вместо погони за RAM и HBM можно активнее менять кэширование, предзагрузку и задействовать SSD. Cудя по тому, как быстро 26 миллиардов превратились в 35, впереди ждут новые рекорды.