Репост из: Женская логика
Я помню, когда появились первые новости о том, что какая-нибудь программа, например, онлайн-переводчик "проявляет сексизм" или расизм, или иное предубеждение, сколько было остроумных шуток на эту тему.
Вера в непогрешимость, полную обективность и нейтральность алгоритмов нас здорово подводит и будет еще не раз подводить, я думаю.
Вот интересная статья 2019 года, о том, как выяснилось, что программа, определявшая каким пациентам нужна дополнительная помощь, чаще отдавала предпочтение пациентам, отмеченным как белые, при одинаковом состоянии здоровья.
Специалисты стали разбираться, в чем дело. Выяснилось, что программа опирается на расчет рисков для здоровья, и регулярно оценивает чернокожих как людей с более низким риском. А как определяется риск? По затратам на лечение этого человека в течение года. Вроде бы логично предположить, что если человек больше болеет, то и тратит на лечение больше. В данных, на которые опирался алгоритм, средний уровень трат среднестатического белого и черного пациента считался равным. Но когда присмотрелись еще внимательнее, оказалось, что средние люди - совсем не средние. Черные имеют более опасные состояния здоровья при равных затратах с белыми, в частности, среди них оказалось куда больше людей с диабетом, анеменией, нарушением функции почек, высоким давлением. Но при этом на лечение в год система здравоохранения тратила на них на 1800 долларов меньше.
Последнее же связано с систематическим расизмом, с тем, что пациенты либо сами не доверяют и не ходят к врачам, либо ходят, но подвергаются дискримнации.
В итоге, алгоритм назначал им дополнительный уход только когда они были значительно тяжело больны, закрепляя неравенство. Только 17,7% пациентов, которым алгоритм предписывал дополнительное лечение были черными. Если бы он не был предубежден, их бы было 46,5%.
https://www.nature.com/articles/d41586-019-03228-6
А вот и недавняя история о женщинах. В США выяснилось, что модель, придуманная для того, чтобы определять, какому больному в каком порядке проводить пересадку печени, неточно учитывала особенности функции печени у женщин, и их состояние здоровья ошибочно оценивали как более хорошее. Соответственно, приоритет в получении органа оказывался ниже. Если добавить еще, что донорские органы чаще мужские (из-за того, что мужчины чаще погибают в авариях, например) и женщинам не подходят по размеру...
"Невозможность найти донорскую печень подходящего размера для женщин увеличивает смертность на 125,8% в листе ожидания".
Прикиньте, если женщина еще и чернокожая.
https://rustransplant.com/najdena-neobektivnost-v-politike-raspredeleniya-organov-dlya-zhenshhin-v-ssha/
Вера в непогрешимость, полную обективность и нейтральность алгоритмов нас здорово подводит и будет еще не раз подводить, я думаю.
Вот интересная статья 2019 года, о том, как выяснилось, что программа, определявшая каким пациентам нужна дополнительная помощь, чаще отдавала предпочтение пациентам, отмеченным как белые, при одинаковом состоянии здоровья.
Специалисты стали разбираться, в чем дело. Выяснилось, что программа опирается на расчет рисков для здоровья, и регулярно оценивает чернокожих как людей с более низким риском. А как определяется риск? По затратам на лечение этого человека в течение года. Вроде бы логично предположить, что если человек больше болеет, то и тратит на лечение больше. В данных, на которые опирался алгоритм, средний уровень трат среднестатического белого и черного пациента считался равным. Но когда присмотрелись еще внимательнее, оказалось, что средние люди - совсем не средние. Черные имеют более опасные состояния здоровья при равных затратах с белыми, в частности, среди них оказалось куда больше людей с диабетом, анеменией, нарушением функции почек, высоким давлением. Но при этом на лечение в год система здравоохранения тратила на них на 1800 долларов меньше.
Последнее же связано с систематическим расизмом, с тем, что пациенты либо сами не доверяют и не ходят к врачам, либо ходят, но подвергаются дискримнации.
В итоге, алгоритм назначал им дополнительный уход только когда они были значительно тяжело больны, закрепляя неравенство. Только 17,7% пациентов, которым алгоритм предписывал дополнительное лечение были черными. Если бы он не был предубежден, их бы было 46,5%.
https://www.nature.com/articles/d41586-019-03228-6
А вот и недавняя история о женщинах. В США выяснилось, что модель, придуманная для того, чтобы определять, какому больному в каком порядке проводить пересадку печени, неточно учитывала особенности функции печени у женщин, и их состояние здоровья ошибочно оценивали как более хорошее. Соответственно, приоритет в получении органа оказывался ниже. Если добавить еще, что донорские органы чаще мужские (из-за того, что мужчины чаще погибают в авариях, например) и женщинам не подходят по размеру...
"Невозможность найти донорскую печень подходящего размера для женщин увеличивает смертность на 125,8% в листе ожидания".
Прикиньте, если женщина еще и чернокожая.
https://rustransplant.com/najdena-neobektivnost-v-politike-raspredeleniya-organov-dlya-zhenshhin-v-ssha/