Яндекс расширит возможности роботов и автономного транспорта благодаря физическому ИИ

Яндекс начал применять ИИ за пределами виртуальной среды. Компания работает над Physical AI — физическим искусственным интеллектом, который способен глубоко понимать материальный мир, взаимодействовать с ним, учитывать его контекст и адаптироваться под меняющиеся условия. Благодаря физическому ИИ роботы и автономный транспорт Яндекса получат новые возможности и смогут выйти на следующий этап развития.

Физический искусственный интеллект развивают команды Яндекс Роботикс и автономного транспорта. Яндекс Роботикс разрабатывает универсальный «мозг» для сервисных и промышленных роботов: роборук, коботов, мобильных роботов и так далее. Команда автономного транспорта с 2017 года создаёт технологии восприятия и планирования для автомобилей и роботов-доставщиков, а сейчас — и для гуманоидов.

Опыт, накопленный на дорогах и внутри помещений, в сочетании с технологиями Яндекса позволит:

• Научить роботов и автономные автомобили комплексно обрабатывать мультимодальные данные: изображение, видео, звук, текст. Это приблизит их восприятие к человеческому.
• Обеспечить адаптивность. Существуют разные виды роботов и автономного транспорта с разными возможностями, поэтому физический ИИ должен уметь подстраиваться под любые «тела».
• Научить роботов и автономные автомобили моделировать разные варианты развития событий и самостоятельно принимать решения исходя из обстановки.

Сервисные и промышленные роботы

Компания Яндекс Роботикс, открытая на базе Центра робототехники Яндекс Маркета, разрабатывает роботов и решения по автоматизации разных отраслей бизнеса. Компания создала и обучила модель VLA (Vision-Language-Action model) — она преобразует голосовые и текстовые команды, картинку с камер и другие данные, которые робот получает на вход, в действия. Уже поддерживается больше 10 базовых действий: «взять», «положить», «перенести» и так далее, а в будущем их станет больше сотни. С помощью Yandex RMS — системы управления роботами, которую развивает Яндекс Роботикс, — роботы смогут определять, какую комбинацию действий использовать в той или иной задаче и как её решать: самостоятельно или в кооперации с другими роботами. Если им не хватает данных, они смогут сами запросить их в смежных системах. VLA-модель найдёт применение в роборуках и других сервисных и промышленных роботах.

Люди получат возможность взаимодействовать с роботами привычным способом — голосом, жестами и текстом. Это упростит роботизацию бизнеса: компаниям не потребуется дополнительно обучать персонал и кардинально перестраивать процессы. К примеру, будет достаточно показать роботу инструкцию, написанную для людей, — и он поймёт, что нужно делать.

Автономный транспорт

Команда автономного транспорта продолжает развивать ML-планировщик. В нём за построение траектории движения отвечает нейросеть-трансформер, обученная на большом объёме данных о действиях профессиональных водителей. Подражая им, планировщик помогает автомобилю двигаться более плавно и предсказуемо — в манере, близкой к манере человека.

Ещё одно направление работы — развитие симулятора. В нём автомобили и роботы-доставщики отрабатывают навыки вождения и учатся реагировать на разные ситуации — в том числе те, которые редко возникают в жизни.

Физический ИИ повысит безопасность технологии автономного вождения и позволит автомобилям и роботам-доставщикам не просто распознавать ситуации, а воспринимать их в динамике. Они также научатся взаимодействовать с дорожной инфраструктурой — например, учитывать сигналы светофоров при планировании маршрута. Роботам-гуманоидам физический ИИ позволит точнее оценивать вес и устойчивость предметов, рассчитывать усилие при захвате, сохранять равновесие при движении и безопасно взаимодействовать с людьми и объектами.