Новый стандарт в следовании формату запроса
Для проверки того, насколько хорошо ответы первой нейросети из линейки YandexGPT 3 соответствуют заданному в запросе формату, разработчики создали русскоязычный тест на базе бенчмарка IFEval. При этом они значительно расширили список решаемых задач и усложнили их.
В сравнении с YandexGPT 2 качество ответов YandexGPT 3 улучшилось на 10 процентных пунктов, а их консистентность увеличилась в два раза. Это значит, что нейросеть научилась лучше понимать, какими именно должны быть ответы на одинаковые по сути, но сформулированные по-разному запросы.
Кроме того, новая языковая модель значительно реже ошибается. По сравнению с YandexGPT 2 количество фактических ошибок сократилось с 16,4% до 13,5%, а доля неподтверждённой информации в ответах снизилась с 6,4% до 5%. Количество ситуаций, когда модель не дает ответ на вопрос пользователя, уменьшилось в 5 раз. Все эти проверки проводились с помощью специального набора особенно сложных запросов, применимых в реальном бизнесе.