Кинопоиск научился распознавать музыку из фильмов и сериалов

На Кинопоиске теперь можно узнать, какая музыка звучит в кадре в данный момент — и при желании послушать ее на Яндекс.Музыке.

В сценах, где играет музыка, в интерфейсе плеера Кинопоиска отображается название песни и исполнителя. Подписчики Плюса могут отправить заинтересовавший трек в специальный плейлист «Понравилось на Кинопоиске» в своей коллекции в Яндекс.Музыке и послушать его потом с любого удобного устройства. Это можно сделать даже на телевизоре — накануне в приложении Кинопоиска для Smart TV и Android TV появился раздел с Яндекс.Музыкой.

Технология способна распознать как инструментальную музыку, так и песни разных исполнителей, которые играют в фильме или сериале фоном.

"Музыка в кино звучит в самых разных сценах, и у нее есть особенности, которые не слышны нашему уху: например, композиции в фильмах могут быть немного замедлены или ускорены, сами треки могут звучать тише, чем речь героев. Специально для распознавания музыки в видеоконтенте мы улучшили технологию, которая уже работает в Яндекс.Музыке. Теперь она поможет пользователям легко находить заинтересовавшие их песни, а полученные благодаря ей знания позволят нам лучше понимать предпочтения пользователей и использовать их для улучшения персональных рекомендаций”, — рассказывает Анатолий Старостин, руководитель службы развития технологий в Медиасервисах Яндекса.

Благодаря этому нововведению пользователи теперь без труда могут узнать, какой именно трек Ханса Циммера звучит в титрах “Дюны” или оценить широту музыкального вкуса режиссера Джеймса Ганна, который собрал впечатляющую коллекцию классики рок-н-ролла для фильма “Отряд Самоубийц: Миссия Навылет” (оба фильма будут доступны в подписке Яндекс Плюс уже 1 января).

Распознавание работает в приложениях Кинопоиска для Smart TV, Android TV, в мобильных приложениях на iOS и Android и в веб-версии, а совсем скоро заработает в Apple TV. Это не первое нововведение, призванное дополнить пользовательский опыт подписчиков Плюса с помощью интеграции разных сервисов и технологий Яндекса между собой. В 2019 году на Кинопоиске заработала технология DeepDive, которая благодаря компьютерному зрению распознает актеров в кадре, а в прошлом году Яндекс.Музыка представила Киноплейлист — умный плейлист из саундтреков фильмов и сериалов, с которыми взаимодействовал пользователь — например, посмотрел их, купил билеты в кино или поставил оценку.