Провал алгоритмического правосудия: Бристоль отключил ИИ-модели оценки риска преступлений против детей из-за катастрофической точности
Полиция Эйвона и Сомерсета совместно с городским советом Бристоля прекратили использование как минимум двух моделей искусственного интеллекта, предназначенных для оценки риска преступлений против детей. Причина — критически низкая точность и полная непрозрачность алгоритмов. Независимые аудиторы не смогли найти ни исходный код, ни даже полный список переменных, используемых в системах.
В ходе журналистского расследования, основанного на сотнях страниц документов, полученных через запросы о доступе к информации, были вскрыты системные проблемы. Эта история разворачивается на фоне запуска национального центра PoliceAI, призванного тестировать и масштабировать ИИ-инструменты в 43 полицейских управлениях Англии и Уэльса.
База данных Think Family: «Большое ведро» без согласия
В основе проблемы лежит Think Family Database — база данных, запущенная в 2016 году. Она объединяла полицейские и социальные данные о семьях, включая жилищный статус, сведения о психическом здоровье, подростковых беременностях, пропусках школы и даже факт получения бесплатного школьного питания. По оценкам, база могла содержать записи почти о 500 000 жителей, причем данные собирались без прямого согласия людей, на основании общих правовых норм об обмене информацией между госструктурами. Один из специалистов по данным полиции цинично описывал этот подход как «складывание всего в большое ведро».
На основе этой базы было построено не менее 23 моделей машинного обучения — от прогноза краж со взломом до оценки риска стать жертвой домашнего насилия. Однако именно модели для оценки риска преступлений против детей показали себя наихудшим образом.
Провал на всех фронтах: от предвзятости до исчезновения кода
Уже в 2016 году этический комитет полиции предупреждал о высоком риске алгоритмической предвзятости из-за выбранных переменных. В модели, например, включали статус ребенка как нуждающегося в помощи и проблемы с психическим здоровьем, что могло создавать порочный круг стигматизации. Позже некоммерческая консалтинговая организация Social Finance в своем обзоре назвала риск-скоринг самым слабым элементом проекта, отметив, что низкая точность полностью подорвала практическую ценность моделей.
Попытка масштабирования системы на всю территорию Эйвона и Сомерсета только усугубила ситуацию. Из-за невозможности договориться об обмене данными со всеми местными советами, из моделей исчезли социальные индикаторы, оставив лишь полицейское «ядро». В результате сотрудники социальных служб жаловались, что уязвимые дети, ставшие жертвами преступлений, получали более низкий балл риска, чем фигуранты дел о кражах. Аудит, проведенный компанией Eticas, показал, что у большинства моделей точность положительных срабатываний была ниже 10%. Это означает, что система ошибочно маркировала как «рисковых» более девяти из десяти человек. К моменту проверки Social Finance исходный код и документация по моделям уже были утеряны.
Выводы и перспективы
Кейс Бристоля — это не просто история о сбое алгоритмов. Это демонстрация фундаментальных рисков, связанных с внедрением ИИ в критически важные социальные сферы. Проблема не только в точности, но и в прозрачности, качестве данных и возможности независимого аудита. Показательно, что руководитель нового национального центра PoliceAI, бывший главный констебль полиции Эйвона и Сомерсета, ранее курировал именно ту юрисдикцию, где эти спорные модели разрабатывались и использовались.
Комментарий Cryptalist: Этот случай — суровое напоминание о том, что «черный ящик» алгоритмов в руках государства может быть опаснее, чем преступность, которую он призван предотвращать. Пока регуляторы и общественность спорят о будущем ИИ, полицейские участки по всему миру уже проводят опасные эксперименты с человеческими жизнями. История Бристоля должна стать не просто предупреждением, а катализатором для введения жестких стандартов аудита и прозрачности для всех государственных ИИ-систем.