Lens Live работает благодаря связке компьютерного зрения и генеративного ИИ. Лёгкая модель распознавания объектов запускается на самом смартфоне и выделяет ключевые предметы в кадре, а дальше система сопоставляет их со всеми позициями на Amazon с помощью визуальных эмбеддингов. Это позволяет сравнивать не пиксели, а смысловые вектора товаров и очень быстро показывать похожие результаты.
Поверх этого в камеру интегрировали обновленного недавно ассистента Rufus, наделив его агентными возможностями. Он может не только ответить на вопросы по товару, но и добавлять их в корзину, мониторить цену и покупать (подобное сейчас делает и Яндекс). Теперь можно навести камеру на чашку в кофейне, найти идентичный товар и сразу поручить ассистенту купить его, если цена упадет ниже определенного уровня. Человека постепенно убрают из процесса оформления заказа, оставляя только целеполагание и активно стимулируя спонтанные покупки.