Kandinsky научили управлять временем

Сбер разработал Time Adapter – надстройку для видеогенераторов, которая позволяет заранее указывать, насколько быстро должна меняться сцена. Обычно модель сама решает, за сколько секунд человек пройдёт определённое расстояние, упадёт предмет или рассеется туман, поэтому движение иногда получается слишком быстрым, медленным или рваным. Time Adapter призван исправить такие ошибки – он сообщает модели темп сцены и положение каждого кадра во времени. По сути, у ИИ появляются часы.

Адаптер задаёт общий темп через FPS (кадры в секунду), одновременно сообщая модели, какому моменту времени соответствует каждый кадр. Его можно подключить к уже обученной видеомодели. Совсем уж новой идея управления скоростью видео не является – похожие параметры движения использовали ещё в Stable Video Diffusion. Новизна Time Adapter в сочетании этих двух сигналов: модель узнаёт и темп сцены, и положение каждого кадра во времени.