Оценивали качество работы YandexGPT специальные AI-тренеры Яндекса. В целом по их оценки сервис второго поколения отвечает лучше на 67%, выше среднего улучшились генерация, пересказ и анализ текста. Утверждается, что YandexGPT 2 способна анализировать тексты длиной до тысячи символов, отвечать на вопросы к ним и структурировать информацию.
Мы тестировали генеративные нейросети разных разработчиков, и все они по-началу вызывают восторг. Еще бы, за пару минут можно получить пересказ длинного лонгрида, а тексты, которые генерирует нейросеть, выглядят очень неплохо. Дьявол, как обычно, кроется в деталях: проверка качества пересказа и перевода лонгрида в тезисный план показали, что нейросети (речь не только о Яндексе) довольно вольно обращаются с фактами. В результате из условных 10 тезисов, сформулированных нейросетью, соответствовали фактам в лучшем случае половина. И как решать проблему с фактчекингом сгенерированной информации до сих пор непонятно.
Вполне возможно, что в YandexGPT 2 с этим дела обстоят лучше, но есть подозрение, что доверять генеративным сетям что-то более важное, чем дипломная работа или реферат (которые никто не прочитает) пока не стоит.
В Яндексе, впрочем, языковой модели подобрали собственные сценарии использования. Например, анализ комментариев к товарам, на основе которого можно сформулировать резюме — тут объем данных небольшой и каждый комментарий сопровожден оценкой, что облегчает работу с сарказмом и эмоциональным окрасом. Так же, говорят, нейросеть неплохо справляется с созданием комментария ведущих аналитиков на любые темы.