Новости криптомира

Полиция Эйвона и Сомерсета совместно с городским советом Бристоля прекратили использование двух моделей искусственного интеллекта, предназначенных для оценки риска преступлений против детей. Причина — критически низкая точность и полная непрозрачность алгоритмов. Независимые аудиторы не смогли найти ни исходный код, ни список используемых переменных, что делает проверку таких систем невозможной.

Как собирались данные: «Большое ведро» информации

В основе проекта лежала база данных Think Family Database, запущенная в 2016 году. Она объединяла полицейские и социальные данные о жителях: жилищный статус, психическое здоровье, подростковые беременности, пропуски школы и даже факт получения бесплатного питания. Сведения собирались без прямого согласия граждан, на основании юридических норм об обмене информацией между госструктурами. Один из специалистов полиции откровенно описал подход как «смешивание всего в большое ведро».

На этой базе строились модели машинного обучения, присваивающие взрослым и детям оценки риска. Журналистам известно как минимум о 23 таких моделях — от прогноза краж со взломом до вероятности стать жертвой домашнего насилия. Параллельно работало приложение Offender Management App, которое старший офицер называл «турнирной таблицей» самых опасных преступников.

Почему алгоритмы провалились

Модель оценки риска преступлений против детей использовала данные полиции, городского совета и благотворительной организации Barnardo's, включая обезличенные сведения о 1000 детей, уже пострадавших от таких преступлений. На скоринг влияли статус ребенка, нуждающегося в помощи, постоянные пропуски школы и проблемы с психическим здоровьем. Другая модель учитывала жилищную поддержку, задолженность по аренде и бесплатное школьное питание.

Уже в 2016 году этический комитет полиции предупреждал о риске алгоритмической предвзятости. Позже консалтинговая организация Social Finance назвала риск-скоринг самым слабым элементом проекта. Низкая точность подорвала практическую ценность моделей. К моменту проверки обе системы уже не использовались.

Качество моделей ухудшилось из-за изменения набора данных. Полиция пыталась масштабировать подход на весь регион, но не смогла договориться об обмене данными со всеми местными советами. В результате в моделях осталось преимущественно полицейское «ядро» без социальных индикаторов. Сотрудники городских служб жаловались, что уязвимые дети не попадают в результаты, а несовершеннолетние жертвы преступлений получали более низкий балл, чем фигуранты дел о кражах.

Аудит: низкая точность и потерянные документы

Аудиторская компания Eticas, проанализировав более 36 000 оценок производительности, пришла к выводу, что у большинства моделей была низкая точность положительных срабатываний. Система ошибочно помечала значительную долю людей как риск. Например, модель для выявления потенциальных взломщиков более трех лет показывала точность ниже 10%: меньше одного из десяти отмеченных системой людей действительно совершал такое преступление.

Ни полиция, ни городской совет Бристоля к июню 2023 года не сохранили документы о решении отказаться от двух моделей оценки рисков преступлений против детей. Исходный код и список переменных найти не удалось. Сейчас власти используют только модель риска NEET — оценку вероятности, что ребенок после школы не будет учиться, работать или проходить обучение.

Контекст: PoliceAI и системные риски

Эта история разворачивается на фоне запуска PoliceAI — национального центра тестирования ИИ-инструментов для 43 полицейских управлений Англии и Уэльса с бюджетом 75 млн фунтов стерлингов. Инцидент в Бристоле наглядно демонстрирует, что риски таких моделей связаны не только с точностью алгоритмов, но и с качеством данных, сохранением документации и возможностью независимой проверки.

Мнение эксперта. Бристольский кейс — классический пример того, как спешка с внедрением ИИ в правоохранительной сфере без должного аудита и прозрачности может привести к дискредитации самой идеи. Когда система неспособна отличить жертву преступления от потенциального преступника, это не просто техническая ошибка, а прямая угроза правосудию. Пока регуляторы не введут обязательные стандарты верификации таких алгоритмов, подобные провалы будут повторяться.