Вчера, когда я писала книгу про искусственный интеллект, наткнулась на интересную статью в Lancet Digital Health. Она для меня была новой и весьма неожиданной.
Учёные из нескольких топовых университетов задали простой вопрос: может ли ИИ определить расу пациента по медицинскому снимку?
Тут важно для контекста: считается, что рентген или КТ — это просто анатомия и никаких расовых признаков там нет. Любой врач вам это скажет.
Радиологи определить расу пациента по снимку не могут.
А ИИ — может. И делает это блестяще.
На обычных рентгенах грудной клетки нейросеть угадывает самоидентифицируемую расу с точностью 97–99%. На КТ, маммографии, снимках кисти и шейного отдела — почти так же уверенно. Причём работает это и в больницах, на снимках которых модель никогда не обучалась.
Дальше авторы пытались понять — как? Может, дело в плотности костей? В телосложении? В плотности тканей груди? В разном распределении болезней? Проверили всё — ни один из этих признаков по отдельности расу не выдаёт.
Тогда снимки начали портить. Размывали так, что радиологи-соавторы, глядя на результат, не могли понять — а это вообще рентген? Уменьшали разрешение до 4×4 пикселей. Вырезали восемь девятых изображения.
Нейросеть продолжала угадывать. Сигнал размазан по всему снимку, и его невозможно вычистить.
Почему это важно?
Параллельные исследования уже показали: ИИ, который ставит диагнозы по снимкам, систематически чаще пропускает патологию у чернокожих женщин.
А теперь представьте: модель узнаёт расу там, где её не видит ни один врач, и тихо использует это при принятии решения. Радиолог никак не сможет это заметить и проверить — он же расы на снимке не видит.
И самый неприятный вывод: стандартный способ бороться с алгоритмической дискриминацией — спрятать расу от модели — здесь, похоже, не работает. Сигнал везде, его не получается изолировать.
Мораль простая: рентгеновский снимок — это не просто пиксели. В медицинском изображении зашито намного больше, чем врачи могут увидеть. ИИ это считывает, а мы нет. И пока это так, доверять искусственному интеллекту в клинике нужно очень осторожно.
Нина о Неврологии
Учёные из нескольких топовых университетов задали простой вопрос: может ли ИИ определить расу пациента по медицинскому снимку?
Тут важно для контекста: считается, что рентген или КТ — это просто анатомия и никаких расовых признаков там нет. Любой врач вам это скажет.
Радиологи определить расу пациента по снимку не могут.
А ИИ — может. И делает это блестяще.
На обычных рентгенах грудной клетки нейросеть угадывает самоидентифицируемую расу с точностью 97–99%. На КТ, маммографии, снимках кисти и шейного отдела — почти так же уверенно. Причём работает это и в больницах, на снимках которых модель никогда не обучалась.
Дальше авторы пытались понять — как? Может, дело в плотности костей? В телосложении? В плотности тканей груди? В разном распределении болезней? Проверили всё — ни один из этих признаков по отдельности расу не выдаёт.
Тогда снимки начали портить. Размывали так, что радиологи-соавторы, глядя на результат, не могли понять — а это вообще рентген? Уменьшали разрешение до 4×4 пикселей. Вырезали восемь девятых изображения.
Нейросеть продолжала угадывать. Сигнал размазан по всему снимку, и его невозможно вычистить.
Почему это важно?
Параллельные исследования уже показали: ИИ, который ставит диагнозы по снимкам, систематически чаще пропускает патологию у чернокожих женщин.
А теперь представьте: модель узнаёт расу там, где её не видит ни один врач, и тихо использует это при принятии решения. Радиолог никак не сможет это заметить и проверить — он же расы на снимке не видит.
И самый неприятный вывод: стандартный способ бороться с алгоритмической дискриминацией — спрятать расу от модели — здесь, похоже, не работает. Сигнал везде, его не получается изолировать.
Мораль простая: рентгеновский снимок — это не просто пиксели. В медицинском изображении зашито намного больше, чем врачи могут увидеть. ИИ это считывает, а мы нет. И пока это так, доверять искусственному интеллекту в клинике нужно очень осторожно.
Нина о Неврологии