ИИ в медицине и его «уникальный» подход к пациенту

Учёные проанализировали работу девяти языковых моделей на 1000 случаев из отделений неотложной помощи. Результаты тревожные: ИИ-системы часто дают разные рекомендации в зависимости от социально-демографических характеристик пациента при абсолютно одинаковых медицинских данных.

Например, пациенты с высоким доходом получали рекомендации пройти продвинутую диагностику, а малообеспеченным советовали обойтись без дополнительных тестов. Чернокожих или бездомных людей отправляли на инвазивные процедуры или оценку состояния психического здоровья чаще других и даже если в этом не было клинической необходимости.

В чём причина? ИИ обучается на существующих данных и, если эти данные содержат человеческие предубеждения, алгоритм их отражает и усиливает. Это не первая подобная ситуация — с такими же предубеждениями уже сталкивались компании, которые использовали ИИ в рекрутинге для оценки резюме и отбора кандидатов на трудоустройство.

Это не первый случай дискриминации и в медицинском ИИ. Watson от IBM давал небезопасные рекомендации по лечению рака, а система прогнозирования рисков беременности от Epic оказалась менее точной для женщин не европейского типа.

Конечно, нейросети стоит использовать для ускорения процесса диагностики, предсказания заболеваний на ранних стадиях и в виде базы данных для врачей. Но важно помнить, что ИИ галлюцинирует и проецирует существующие в данных предубеждения и ошибки.