Робот с 26 моторами под силиконовой кожей проходит два этапа. Сначала он часами кривляется перед зеркалом, сопоставляя сигналы моторов с тем, что видит в отражении (калибрует самоощущение). А затем смотрит терабайты видео с людьми на YouTube, чтобы понять, как двигаются губы при разных звуках. В итоге получается система, которая напрямую перегоняет аудиофайл в движения сервоприводов.
В теории, один раз обученная подобная модель может «оживить» любую механическую голову, что открывает широкие просторы для экономии денег и её использования, к примеру, в бизнесе. Но тут есть нюанс — обучение коммерческого продукта на чужих видео с YouTube без спроса нарушает Terms of Service. Если технология выйдет за пределы лаборатории, правообладатели могут требовать компенацию за использование их лиц и голосов при обучении.
Создатели заявляют, что робот поддерживает десяток языков. Несмотря на это, результат всё ещё выглядит адекватно разве что на английском. Да и пластика почти не меняется. А самое главное, что это не делает робота «живее»: двигаюся только губы, пока остальная часть лица остаётся мёртвой и бездвижной. Возможно, оживление лица это следующий этап проекта. Хотя моторам и силикону всё ещё очень далеко до уровня человеческой мимики.