А судьи кто? Алгоритмы
Ситуация: человека задерживают за преступление, которого он ещё не успел совершить… Но вот-вот собирался – по мнению алгоритма. Такую реальность показал Стивен Спилберг в фильме «Особое мнение». Правда, подобные технологии применяются полицией сегодня – и ситуация развивается по сценарию фильма.
В «Особом мнении» предсказаниями занимались три провидца. В нашей реальности их место заняли алгоритмы машинного обучения, анализ больших данных и большие языковые модели. Технология получила название «прогностическая полицейская деятельность» (predictive policing).
Современные системы анализируют информацию о прошлых преступлениях, социально-демографические данные, активность в соцсетях, изображения с камер и так далее, чтобы предположить, где и когда случится новое преступление (или кто может его совершить). Это влияет на распределение патрулей полиции, профайлы людей и социальных групп.
В фильме оказывается, что система не безупречна, провидцы могут видеть разные версии будущего и существуют «особые мнения» с альтернативными исходами ситуации. То же происходит и в реальности – попытка предсказать будущее на основе больших данных не отражает реальность и усиливает существующие предубеждения.
Например, если в районе исторически было больше полиции – она фиксировала больше преступлений, и, как следствие, алгоритм посчитает такой район более «криминальным». Хотя в соседний район полиция вообще не заходит – боится разборок местных банд. Где безопаснее? В итоге количество патрулей в первом районе увеличится, а вместе с ним количество арестов, и всё повторится по кругу. Обычное «самоисполняющееся пророчество».
При этом большинство подобных систем разрабатываются частными компаниями, которые защищают свои алгоритмы как коммерческую тайну. Ни полиция, ни общественность не понимают, как именно формируются прогнозы. Зато на их основе можно принять решение о «категории опасности» человека или локации – технически до решения суда невиновны все, но кто-то всё-таки более подозрительный и нуждается в присмотре.
Технологии предсказания на основе больших данных могут выявлять общие тренды, но если на их основе начнут приниматься решения о судьбах конкретных людей – это опасно. Есть надежда, что до такого не дойдёт. И, как минимум, всегда будет учитываться альтернативное «особое мнение».
Ситуация: человека задерживают за преступление, которого он ещё не успел совершить… Но вот-вот собирался – по мнению алгоритма. Такую реальность показал Стивен Спилберг в фильме «Особое мнение». Правда, подобные технологии применяются полицией сегодня – и ситуация развивается по сценарию фильма.
В «Особом мнении» предсказаниями занимались три провидца. В нашей реальности их место заняли алгоритмы машинного обучения, анализ больших данных и большие языковые модели. Технология получила название «прогностическая полицейская деятельность» (predictive policing).
Современные системы анализируют информацию о прошлых преступлениях, социально-демографические данные, активность в соцсетях, изображения с камер и так далее, чтобы предположить, где и когда случится новое преступление (или кто может его совершить). Это влияет на распределение патрулей полиции, профайлы людей и социальных групп.
В фильме оказывается, что система не безупречна, провидцы могут видеть разные версии будущего и существуют «особые мнения» с альтернативными исходами ситуации. То же происходит и в реальности – попытка предсказать будущее на основе больших данных не отражает реальность и усиливает существующие предубеждения.
Например, если в районе исторически было больше полиции – она фиксировала больше преступлений, и, как следствие, алгоритм посчитает такой район более «криминальным». Хотя в соседний район полиция вообще не заходит – боится разборок местных банд. Где безопаснее? В итоге количество патрулей в первом районе увеличится, а вместе с ним количество арестов, и всё повторится по кругу. Обычное «самоисполняющееся пророчество».
При этом большинство подобных систем разрабатываются частными компаниями, которые защищают свои алгоритмы как коммерческую тайну. Ни полиция, ни общественность не понимают, как именно формируются прогнозы. Зато на их основе можно принять решение о «категории опасности» человека или локации – технически до решения суда невиновны все, но кто-то всё-таки более подозрительный и нуждается в присмотре.
Технологии предсказания на основе больших данных могут выявлять общие тренды, но если на их основе начнут приниматься решения о судьбах конкретных людей – это опасно. Есть надежда, что до такого не дойдёт. И, как минимум, всегда будет учитываться альтернативное «особое мнение».