Сбер хочет научить роботов смотреть на шаг вперёд

Сбер представил модель GreenWAM, попытавшись научить роботов предсказывать будущее. Правда, пока речь о последствиях собственных действий. GreenWAM генерирует видео того, что должно произойти после них: как изменится положение предметов, если робот, к примеру, возьмёт бутылку и положит её в сумку. Выяснилось, что обучение таким прогнозам помогает роботам лучше справляться с заданиями и реже ошибаться.

За основу взяли Nvidia Cosmos 3 Edge, которая уже умела совмещать управление с предсказанием, и дообучили её примерно на 1700 часах записей работы 20 семейств роботов – от манипуляторов до человекоподобных машин. Данные с Грина в дата-сете тоже были. После чего модель испытали в симуляторах и на человекоподобном роботе Грине, которому поручили складывать предметы в сумку.

Код и веса модели опубликовали, так что другие разработчики при желании смогут адаптировать её для своих роботов. Тем временем у Сбера постепенно собирается целый зоопарк робототехнических моделей: Green-VLA для выполнения команд, Kandinsky WM для создания тренировочных видео и, собственно, GreenWAM для управления роботами с предсказанием их действий.