Новости криптомира

Полиция Эйвона и Сомерсета совместно с городским советом Бристоля прекратили использование как минимум двух моделей искусственного интеллекта, предназначенных для оценки риска преступлений против детей. Причина — критически низкая точность прогнозов и полная непрозрачность систем, которые оказались фактически не поддающимися независимому аудиту.

Журналистское расследование, проведенное при участии правозащитной группы Liberty Investigates, местного издания Bristol Cable и некоммерческой редакции Lighthouse Reports, выявило системные проблемы в работе этих алгоритмов. Анализ сотен страниц внутренних документов показал, что модели, построенные на базе базы данных Think Family Database, страдали от фундаментальных недостатков.

Как собирались данные и строились модели

Think Family Database, запущенная в 2016 году, объединяла полицейские и социальные данные о жителях Бристоля. В неё входили сведения о жилищном статусе, психическом здоровье, подростковых беременностях, посещаемости школы и даже получении бесплатного питания. Примечательно, что данные собирались без прямого согласия граждан, с использованием правовых оснований для межведомственного обмена информацией. Один из специалистов по данным полиции цинично описывал этот процесс как «складывание всего в большое ведро».

На этой шаткой основе были построены 23 модели машинного обучения, которые присваивали взрослым и детям оценки риска — от прогноза краж со взломом до вероятности стать жертвой домашнего насилия. Параллельно работало приложение Offender Management App, которое, по словам одного из старших офицеров, служило основой для «турнирной таблицы» наиболее опасных преступников.

Почему модели провалились

Ключевая проблема заключалась в качестве данных. Одна из моделей для оценки риска преступлений против детей использовала обезличенные данные благотворительной организации Barnardo's по 1000 детям, которые уже пострадали от таких преступлений. Однако в 2016 году этический комитет полиции предупреждал о неизбежной алгоритмической предвзятости из-за выбранных переменных, таких как статус ребенка, нуждающегося в помощи, или проблемы с психическим здоровьем.

Позже аудит, проведенный некоммерческой организацией Social Finance, подтвердил худшие опасения. Риск-скоринг был назван самым слабым элементом, а низкая точность — фактором, подорвавшим практическую ценность моделей. К моменту проверки две модели оценки рисков преступлений против детей уже были отключены.

Social Finance связала ухудшение качества моделей с изменением набора данных. Полиция пыталась масштабировать подход на весь регион Эйвона и Сомерсета, но не смогла договориться об обмене данными со всеми местными советами. В результате модели потеряли социальные индикаторы и превратились в чисто полицейское «ядро», что ещё больше снизило их точность.

Особое беспокойство вызывает полная непрозрачность систем. Независимые аудиторы не смогли найти ни исходный код, ни список переменных, использовавшихся в моделях. Более того, ни полиция, ни городской совет Бристоля к июню 2023 года не сохранили документы о решении отказаться от двух моделей оценки рисков преступлений против детей.

Результаты независимого аудита

Журналисты WIRED получили от полиции более 36 000 оценок производительности по 13 моделям, использовавшимся или тестировавшимся в 2017-2024 годах. Аудит, проведенный компанией Eticas, показал, что у большинства моделей была критически низкая точность положительных срабатываний. Система ошибочно помечала значительную долю людей как рискованных.

Например, модель для выявления потенциальных взломщиков более трех лет показывала точность положительных срабатываний ниже 10%. Это означает, что менее одного из десяти отмеченных системой людей действительно совершал такое преступление. Аудиторы подчеркнули, что такие показатели нехарактерны для хорошо управляемых моделей в операционном использовании.

Кейс на фоне расширения PoliceAI

Эта история разворачивается на фоне запуска PoliceAI — национального центра для тестирования и масштабирования ИИ-инструментов в 43 полицейских управлениях Англии и Уэльса с бюджетом в 75 млн фунтов стерлингов на три года. Примечательно, что центр возглавляет бывший главный констебль полиции Эйвона и Сомерсета Энди Марш — того самого региона, где развивали спорную ИИ-аналитику.

Кейс Бристоля — это не просто история о технической ошибке. Это системный сбой, который демонстрирует, что риски таких моделей связаны не только с точностью алгоритмов, но и с качеством данных, сохранением документации и возможностью независимой проверки.

Мнение эксперта: Эта ситуация — классический пример того, как погоня за технологическими инновациями в правоохранительной сфере может обернуться катастрофой без должного контроля за качеством данных и прозрачностью алгоритмов. ИИ-модели, обученные на предвзятых или неполных данных, не просто бесполезны — они опасны, так как могут создавать ложные обвинения и подрывать доверие к системе правосудия. Бристольский провал должен стать предупреждением для всех, кто слепо внедряет ИИ в социально значимые сферы.