Пройти ЕГЭ по литературе — сложная задача для нейросети. Он проверяет знания сразу с нескольких сторон: в нём есть задания для оценки эрудиции, стиля письма и творческих способностей. YandexGPT 2 решила обе части экзамена. В первой она анализировала произведение и отвечала на вопросы о нём, во второй — писала сочинение на заданную тему.
Алексей Гусаков, технический директор Поиска Яндекса
«Стандартным тестом для оценки эрудиции языковых моделей в мире считается MMLU: он включает вопросы разной степени сложности из 57 областей знания. Так можно объективно сравнить несколько нейросетей, но нельзя оценить качество их ответов на открытые или творческие вопросы. Именно поэтому мы предложили YandexGPT 2 сдать ЕГЭ по литературе. Его задания тесно связаны с текстом, языком и пониманием культурного контекста».
Специалисты Яндекса получили варианты ЕГЭ по литературе, которые использовались при проведении тренировочных экзаменов в 2021–2023 годах, от Московского центра непрерывного математического образования и убедились, что применявшаяся для обучения YandexGPT база данных не содержит ответов на них. Нейросеть решала задания практически так же, как это делал бы любой школьник: генерировала ответы на открытые вопросы и выбирала один или несколько вариантов из предложенных, если они были. После этого решения языковой модели внесли в бланки и отправили на проверку официальным экспертам ЕГЭ по литературе.
«Школьники тщательно готовятся к ЕГЭ заранее и глубоко погружаются в специфику экзамена. Нейросеть не делала этого, её подход похож на ситуацию, когда взрослый человек решает задания, опираясь только на накопленные знания. Результаты YandexGPT 2 показывают её эрудицию и способность анализировать информацию», — отметил Иван Ященко, директор Московского центра непрерывного математического образования.