Бристольский провал: Полиция отключила ИИ-модели прогнозирования преступлений против детей из-за фатальных ошибок
Полиция Эйвона и Сомерсета совместно с городским советом Бристоля вынуждена была свернуть использование как минимум двух алгоритмов машинного обучения, предназначенных для оценки риска преступлений против детей. Причина — катастрофически низкая точность и полная непрозрачность систем, которые оказались практически не поддающимися независимому аудиту.
В ходе масштабного журналистского расследования, охватившего сотни страниц внутренних документов, вскрылась шокирующая картина. В основе проблем лежала база данных Think Family Database, запущенная в 2016 году. Этот цифровой монстр собирал в себя информацию о почти 500 000 жителей Бристоля, объединяя полицейские сводки, данные о жилищном статусе, психическом здоровье, посещаемости школ и даже информацию о получении бесплатного питания. Все это делалось без прямого согласия граждан, под прикрытием юридических оснований для межведомственного обмена.
На этой базе данных строились 23 модели машинного обучения, от прогнозирования краж со взломом до оценки риска стать жертвой домашнего насилия. Однако именно модели для защиты детей дали сбой. В них, помимо полицейских и социальных данных, были включены обезличенные сведения о 1000 детей, пострадавших от преступлений, из благотворительной организации Barnardo's. Алгоритмы учитывали статус ребенка, нуждающегося в помощи, хронические пропуски школы и проблемы с психическим здоровьем.
Этический коллапс и "черный ящик"
Еще в 2016 году этический комитет полиции предупреждал о риске алгоритмической предвзятости, но его рекомендации были проигнорированы. Позже независимая консалтинговая организация Social Finance дала убийственную оценку: риск-скоринг был назван самым слабым звеном проекта. Выяснилось, что качество моделей резко ухудшилось, когда полиция попыталась масштабировать систему на весь регион, но не смогла договориться об обмене данными со всеми местными советами. В результате алгоритмы потеряли критически важные социальные индикаторы и стали полагаться в основном на полицейские данные.
Сотрудники городских служб Бристоля открыто жаловались, что система ставит под удар самых уязвимых. Один из работников описал вопиющий случай: дети, которые недавно стали жертвами преступлений, получали более низкий балл риска, чем фигуранты дел о кражах. Другие отказывались полагаться на оценки из-за полной непрозрачности методики. Аудит, проведенный компанией Eticas по заказу журналистов, подтвердил худшие опасения: у большинства моделей была критически низкая точность положительных срабатываний. Например, модель для выявления потенциальных взломщиков более трех лет показывала точность ниже 10%, то есть система ошибочно «клеймила» более 90% людей.
Уроки для PoliceAI
Этот инцидент — мрачное предзнаменование на фоне запуска национального центра PoliceAI с бюджетом в 75 млн фунтов стерлингов. Ирония судьбы в том, что центр возглавляет бывший главный констебль полиции Эйвона и Сомерсета Энди Марш, при котором и разрабатывались эти скандальные модели. Кейс Бристоля наглядно демонстрирует, что главная опасность ИИ в правоохранительной системе — не в самих алгоритмах, а в "мусоре" на входе: некачественных данных, отсутствии прозрачности и невозможности независимой верификации.
Мнение эксперта: История с Бристолем — это классический пример того, как слепая вера в технологии без должного контроля за качеством данных и этическими нормами приводит к обратному эффекту. Система, призванная защищать детей, сама стала источником несправедливости и недоверия. Если PoliceAI не извлечет из этого урока, миллионы фунтов налогоплательщиков рискуют быть потраченными на создание еще более масштабного и опасного "черного ящика".