Например, пациенты с высоким доходом получали рекомендации пройти продвинутую диагностику, а малообеспеченным советовали обойтись без дополнительных тестов. Чернокожих или бездомных людей отправляли на инвазивные процедуры или оценку состояния психического здоровья чаще других и даже если в этом не было клинической необходимости.
В чём причина? ИИ обучается на существующих данных и, если эти данные содержат человеческие предубеждения, алгоритм их отражает и усиливает. Это не первая подобная ситуация — с такими же предубеждениями уже сталкивались компании, которые использовали ИИ в рекрутинге для оценки резюме и отбора кандидатов на трудоустройство.
Это не первый случай дискриминации и в медицинском ИИ. Watson от IBM давал небезопасные рекомендации по лечению рака, а система прогнозирования рисков беременности от Epic оказалась менее точной для женщин не европейского типа.
Конечно, нейросети стоит использовать для ускорения процесса диагностики, предсказания заболеваний на ранних стадиях и в виде базы данных для врачей. Но важно помнить, что ИИ галлюцинирует и проецирует существующие в данных предубеждения и ошибки.