Бристольский провал: ИИ-модели для оценки риска преступлений против детей отключены из-за фатальных ошибок
Власти Бристоля и полиция графств Эйвон и Сомерсет были вынуждены свернуть использование как минимум двух моделей искусственного интеллекта, предназначенных для оценки риска преступлений против детей. Причина — катастрофически низкая точность и полная непрозрачность алгоритмов, которую независимые аудиторы не смогли проверить из-за отсутствия исходного кода и списка переменных.
Как работала система и почему она давала сбои
В основе лежала база данных Think Family Database, запущенная городским советом Бристоля в 2016 году. Она объединяла полицейские отчеты и социальные данные — от жилищного статуса и проблем с психическим здоровьем до информации о пропусках школы и бесплатном питании. По оценкам, база могла содержать записи почти на 500 000 жителей, причем сбор данных происходил без прямого согласия граждан, на основании юридических норм об обмене информацией между госструктурами.
На основе этой базы было построено 23 модели машинного обучения, включая прогнозирование краж, неявок в суд и риска домашнего насилия. Однако именно модели для оценки угрозы детям оказались наиболее уязвимыми. В них, помимо полицейских и муниципальных данных, были загружены обезличенные сведения благотворительной организации Barnardo's о 1000 детей, уже ставших жертвами преступлений. На итоговый скоринг влияли такие факторы, как статус ребенка, нуждающегося в помощи, хронические прогулы школы и психические расстройства.
Уже в 2016 году этический комитет полиции предупреждал о риске алгоритмической предвзятости из-за выбранных переменных. Позже аудит, проведенный консалтинговой организацией Social Finance, подтвердил худшие опасения: точность моделей была признана «самым слабым звеном», а их практическая ценность — сомнительной. К моменту проверки обе модели уже были отключены.
Проблемы с данными и отсутствие контроля
Social Finance связала деградацию качества моделей с изменением набора данных. При попытке масштабировать систему на весь регион Эйвон и Сомерсет полиция не смогла договориться об обмене данными со всеми местными советами. В результате из моделей исчезли социальные индикаторы, и алгоритмы начали работать преимущественно на «полицейском ядре», что сделало их еще менее надежными.
Сотрудники городских служб Бристоля жаловались, что уязвимые дети не попадают в результаты. В одном из отчетов отмечалось, что несовершеннолетние, недавно ставшие жертвами преступлений, могли получать более низкий балл риска, чем фигуранты дел о кражах. Другие служащие откровенно заявляли, что не готовы полагаться на оценки из-за полной непрозрачности методики.
Отдельный аудит, проведенный компанией Eticas на основе 36 000 оценок производительности по 13 моделям, показал, что у большинства из них точность положительных срабатываний была крайне низкой. Например, модель для выявления потенциальных взломщиков более трех лет демонстрировала точность ниже 10% — то есть система ошибочно помечала как риск более 90% людей. Полиция объяснила это тем, что модель не была внедрена, а оценки являются результатом автоматической проверки «статического файла».
Контекст и моя экспертиза
Этот инцидент происходит на фоне запуска национального центра PoliceAI с бюджетом в 75 миллионов фунтов стерлингов, который призван масштабировать ИИ-инструменты для 43 полицейских управлений Англии и Уэльса. Показательно, что руководит этим центром бывший главный констебль полиции Эйвона и Сомерсета — того самого региона, где и произошел данный провал.
Мое профессиональное мнение: История Бристоля — это классический пример того, как спешка с внедрением ИИ в критически важные сферы, такие как защита детей, оборачивается дискредитацией самой технологии. Проблема здесь не в «плохом» ИИ, а в системной ошибке управления данными: использование нерепрезентативных выборок, отсутствие прозрачности и контроля за качеством исходных переменных. Если PoliceAI не учтет эти уроки, он рискует масштабировать не эффективность, а системные ошибки на всю страну.