Сбер выпустил новую модель GFusion

Сбер выложил GFusion – экспериментальную языковую модель на базе GigaChat 3, попытавшись перенести диффузионный подход из мира генерации картинок и видео в текст. Если привычные большинству модели генерируют ответ последовательно, слово за словом, а каждый следующий фрагмент зависит от предыдущих, то GFusion работает сразу с текстовым блоком целиком. В теории это должно повысить скорость генерации модели: компания заявляет ускорение до 45% относительно GigaChat 3, на базе которого её сделали.

Одновременно Сбер опубликовал в открытом доступе саму GFusion, инструменты для её обучения и запуска. Из-за чего другим разработчикам будет проще проверить работу GFusion, повторить эксперимент Сбера и выпустить собственные аналогичные модели. Конечно, если это им понадобится, что совсем не факт: Google недавно выпустила аналогичную, одну из первых крупных текстовых диффузионных моделей DiffusionGemma. Оказалось, что подход компромиссный: качество ниже, чем у обычной Gemma, а ускорение достигается за счёт более активной загрузки видеокарты. Поэтому высокая скорость не обязательно означает меньший расход энергии или более дешёвую генерацию.

Диффузионный подход лучше всего работает для задач, где можно оперировать сразу кусками текста – автодополнение, редактирование, правки готовых кусков кода. Достаточно узкие сценарии, так что GFusion пока особой полезностью похвастаться не может. Но на то модель и эксперимент. На фоне конкурентов, которые в основном пытаются заставить ИИ побольше продавать, даже такой эксперимент для рынка выглядит полезным.