Новости криптомира

Полиция Эйвона и Сомерсета совместно с городским советом Бристоля прекратили использование как минимум двух моделей искусственного интеллекта, предназначенных для оценки риска преступлений против детей. Причина — критически низкая точность прогнозов и полная непрозрачность алгоритмов. Независимые аудиторы столкнулись с тем, что исходный код и перечень используемых переменных попросту отсутствовали, что делает невозможной верификацию результатов.

Мой анализ показывает, что данная ситуация — не единичный сбой, а системная проблема внедрения ИИ в правоохранительные органы. Когда модели становятся «черным ящиком», они не только теряют практическую ценность, но и несут репутационные и юридические риски.

Think Family Database: Сбор данных без согласия

В основе провальных моделей лежала база данных Think Family Database, запущенная в 2016 году. Она аккумулировала информацию о почти 500 000 жителей Бристоля, сводя воедино полицейские отчеты, социальные службы, данные о жилье, психическом здоровье, подростковых беременностях, пропусках школы и даже факты получения бесплатного питания. Ключевой момент: сбор происходил без прямого согласия граждан, на основании юридических норм об обмене данными между госструктурами. Один из специалистов по данным полиции цинично описал этот процесс как «складывание всего в большое ведро».

На этой базе было построено не менее 23 различных моделей машинного обучения — от прогнозирования краж со взломом до оценки риска стать жертвой домашнего насилия. Параллельно функционировало приложение Offender Management App, которое, по словам старшего офицера, служило основой для «турнирной таблицы» самых опасных преступников.

Почему модели провалились

Одна из ранних моделей для оценки риска преступлений против детей использовала данные полиции, городского совета и даже обезличенные сведения благотворительной организации Barnardo's по 1000 детей, уже пострадавших от таких преступлений. На скоринг влияли такие факторы, как статус ребенка, нуждающегося в помощи, постоянные пропуски школы и проблемы с психическим здоровьем.

Уже в 2016 году этический комитет полиции предупреждал о высоком риске алгоритмической предвзятости. Позднее аудит, проведенный некоммерческой организацией Social Finance, подтвердил худшие опасения: риск-скоринг был признан самым слабым элементом системы. Низкая точность полностью подорвала практическую ценность моделей. К моменту проверки две из них уже были отключены.

Корень проблемы — в деградации данных. При попытке масштабировать подход на весь регион Эйвона и Сомерсета полиция не смогла договориться об обмене данными со всеми местными советами. В результате модели лишились важнейших социальных индикаторов, оставшись с «полицейским ядром», которое не давало адекватной картины. Сотрудники городских служб прямо жаловались, что уязвимые дети не попадают в результаты, а несовершеннолетние жертвы преступлений получали более низкий балл, чем фигуранты дел о кражах.

Аудит Eticas: Точность ниже 10%

Журналисты получили более 36 000 оценок производительности по 13 моделям за 2017-2024 годы. Анализ, проведенный аудиторской компанией Eticas, выявил катастрофическую картину: у большинства моделей была низкая точность положительных срабатываний. Система ошибочно помечала как риск значительную долю людей.

Особенно показателен пример модели для выявления потенциальных взломщиков. Более трех лет ее точность положительных срабатываний держалась ниже 10%. Это означает, что менее одного из десяти человек, отмеченных ИИ как угроза, действительно совершал такое преступление. Аудиторы подчеркнули, что такие показатели абсолютно нехарактерны для хорошо управляемых моделей, находящихся в операционном использовании.

Полиция пыталась оправдаться, заявив, что часть моделей, включая инструмент по кражам, не внедрялась, а многолетние оценки — результат автоматической проверки не удаленного статического файла. Городской совет Бристоля признал, что сейчас использует только одну модель риска NEET (оценка вероятности того, что ребенок после школы не будет учиться или работать), но настаивает, что она не заменяет профессиональное суждение.

Контекст: PoliceAI и системные риски

Этот скандал разворачивается на фоне запуска национального центра PoliceAI, на который выделено 75 млн фунтов стерлингов на три года для масштабирования ИИ во всех 43 полицейских управлениях Англии и Уэльса. Ирония судьбы: центр возглавляет бывший главный констебль полиции Эйвона и Сомерсета Энди Марш — именно того региона, где и произошел провал с риск-моделями.

Экспертное мнение: Кейс Бристоля — это не просто история о плохом коде. Это наглядная демонстрация того, что внедрение ИИ в критически важные сферы, такие как защита детей, требует не только совершенных алгоритмов, но и безупречного управления данными, абсолютной прозрачности методологии и обязательного независимого аудита. Без этих трех столпов любая, даже самая многообещающая модель, рискует превратиться в опасный и бесполезный инструмент, подрывающий доверие к правосудию.