Forward from: wintermute
одна из топовых историй во вчерашней подборке EFF - о том, как и почему не работает "предсказание преступлений", тот самый minority report, которого мы все боялись. яркая иллюстрация того, как новые технологии разбиваются о реальность
идея-то была хорошая: разбить города на квадраты, взять big data о преступлениях, совершенных в прошлом в каждом из квадратов, скормить умным программам, которые на основе кучи факторов будут прогнозировать и предсказывать новые преступления в будущем. ну и не наказывать за мыслепреступления, а более умно распределять патрули по территории и заниматься профилактикой правонарушений
конкретно сейчас идея с треском разбивается потому, что система мгновенно становится расистской, предсказывая больше преступлений в районах, где живут разные не очень богатые и не очень успешные меньшинства. делает она это потому, что в этих районах и раньше было (и фиксировалось) больше преступлений, конечно, но по нынешним временам это big no no и "самосбывающееся пророчество"
отдельная ирония в том, что не нужно создавать никакую сложную систему для того, чтобы предсказать, что в районах, где сейчас больше преступлений, и будет больше преступлений. простая идея, но на волне освоения новых бюджетов на нее забили
у авторов идеи было оправдание, что "ну да, но система поможет предотвращать конкретные преступления, точечно и применительно к конкретным личностям". на практике это мало отличается от того, как участковый обходит квартиры, где живут ранее судимые, для "профилактики". с той лишь разницей, что теперь алгоритмы погоняют этих участковых и, вероятно, могут жаловаться на них, если те не выполняют указания
ну то есть, описывается ситуация: 15-летнего подростка арестовали, и алгоритм потом постоянно отправлял полицейские патрули с целью проверить, не затевает ли он или его семья еще чего. за пять месяцев полиция приходила к нему домой 21 раз, а также приходила к нему в спортзал и на работу к родителям.
попутно образовалась еще одна проблема: если полиция приходит к тебе домой, то она, натурально, смотрит, что вообще происходит (раз пришли). и вот приходит полиция навестить трудного подростка, и видит, что на заднем дворе пасутся куры - что, вероятно, запрещено. в итоге 2500 долларов штрафа матери подростка. или приходит полиция в другой дом, и видит через окно, что трудный подросток сидит и курит сигарету. в итоге - за это арестован отец (уж не знаю, почему, может быть по местным законам он отвечает за то, чтобы подростки не курили сигареты дома)
никому их сейчас не жаль, но полицейские тоже не очень рады - газета Tampa Bay Times писала, с 2015 года алгоритмы посылали сотрудников офиса шерифа на подобного рода профилактические визиты 12 500 раз
в общем, деньги потрачены, системы предсказывания преступлений разработаны, толка ноль и никто не доволен. все, как мы любим
https://www.eff.org/deeplinks/2020/09/technology-cant-predict-crime-it-can-only-weaponize-proximity-policing
идея-то была хорошая: разбить города на квадраты, взять big data о преступлениях, совершенных в прошлом в каждом из квадратов, скормить умным программам, которые на основе кучи факторов будут прогнозировать и предсказывать новые преступления в будущем. ну и не наказывать за мыслепреступления, а более умно распределять патрули по территории и заниматься профилактикой правонарушений
конкретно сейчас идея с треском разбивается потому, что система мгновенно становится расистской, предсказывая больше преступлений в районах, где живут разные не очень богатые и не очень успешные меньшинства. делает она это потому, что в этих районах и раньше было (и фиксировалось) больше преступлений, конечно, но по нынешним временам это big no no и "самосбывающееся пророчество"
отдельная ирония в том, что не нужно создавать никакую сложную систему для того, чтобы предсказать, что в районах, где сейчас больше преступлений, и будет больше преступлений. простая идея, но на волне освоения новых бюджетов на нее забили
у авторов идеи было оправдание, что "ну да, но система поможет предотвращать конкретные преступления, точечно и применительно к конкретным личностям". на практике это мало отличается от того, как участковый обходит квартиры, где живут ранее судимые, для "профилактики". с той лишь разницей, что теперь алгоритмы погоняют этих участковых и, вероятно, могут жаловаться на них, если те не выполняют указания
ну то есть, описывается ситуация: 15-летнего подростка арестовали, и алгоритм потом постоянно отправлял полицейские патрули с целью проверить, не затевает ли он или его семья еще чего. за пять месяцев полиция приходила к нему домой 21 раз, а также приходила к нему в спортзал и на работу к родителям.
попутно образовалась еще одна проблема: если полиция приходит к тебе домой, то она, натурально, смотрит, что вообще происходит (раз пришли). и вот приходит полиция навестить трудного подростка, и видит, что на заднем дворе пасутся куры - что, вероятно, запрещено. в итоге 2500 долларов штрафа матери подростка. или приходит полиция в другой дом, и видит через окно, что трудный подросток сидит и курит сигарету. в итоге - за это арестован отец (уж не знаю, почему, может быть по местным законам он отвечает за то, чтобы подростки не курили сигареты дома)
никому их сейчас не жаль, но полицейские тоже не очень рады - газета Tampa Bay Times писала, с 2015 года алгоритмы посылали сотрудников офиса шерифа на подобного рода профилактические визиты 12 500 раз
в общем, деньги потрачены, системы предсказывания преступлений разработаны, толка ноль и никто не доволен. все, как мы любим
https://www.eff.org/deeplinks/2020/09/technology-cant-predict-crime-it-can-only-weaponize-proximity-policing