Чтобы научить автопилот не убивать людей, ему, в идеале, нужно показать записи и данные с датчиков миллиардов аварий. Понятно, что это невозможно: дорого, долго и уголовно наказуемо, особенно если устраивать аварии в реальных условиях городов. Поэтому компании прибегают к разным уловкам, всё чаще используя для обучения автопилота симуляцию. Genie 3 предсказывает следующий кадр в зависимости от действий машины. Waymo дообучила модель генерировать не только картинку, но и данные лидаров. При этом одной текстовой командой инженер может изменить погоду, добавить или убрать объекты, что добавляет симуляции интерактивность и позволяет получить для обучения данные, практически недоступные в реальности.
Раньше подобные системы упирались в ограниченное количество условий и сценариев, которые приходилось программировать вручную. Любой выход за рамки прописанных сценариев приводил к провалам симуляции, именно поэтому компании и начали добавлять генеративные модели поверх классических подходов. Google сейчас особенно агрессивно выводит свои лабораторные разработки в продакшн, на фоне недавнего публичного релиза Genie 3.
Правда, Google в выигрышном положении, ведь у них есть куча денег и вычислительные ресурсы. В России тренд тот же, но со своими нюансами: денег меньше, приходится выкручиваться. Navio решает ту же задачу, но вместо тяжёлых и дорогих моделей для генерации кадров мира делает ставку на Gaussian Splatting. Причём у подхода есть свои преимущества: 3D-модель среды более консистентная, чем генерируемое в реальном времени видео. Не совсем понятно, как Google будут избавляться от галлюцинаций и ошибок, которые в данном случае критичны и почти неизбежны. Надеемся. Что новостей в духе недавней «машина Waymo сбила ребёнка» станет в итоге меньше, а не больше.