Бристольский ИИ-провал: полиция отключила модели прогнозирования преступлений против детей из-за катастрофической точности
Полиция Эйвона и Сомерсета совместно с городским советом Бристоля была вынуждена отказаться от использования как минимум двух моделей искусственного интеллекта, предназначенных для оценки риска преступлений против детей. Причина — низкая точность и полная непрозрачность алгоритмов. Независимым аудиторам не удалось найти ни исходный код, ни даже список используемых переменных, что делает любую проверку работоспособности систем невозможной.
В основе скандала лежит база данных Think Family Database, запущенная городским советом Бристоля в 2016 году. Она аккумулировала информацию о почти 500 000 жителей, включая данные полиции, социальных служб, сведения о психическом здоровье, жилищном статусе, посещаемости школ и даже участии в родительских курсах. Сбор данных проводился без прямого согласия граждан, на основании юридических норм об обмене информацией между государственными структурами.
Как работали и почему провалились модели
На базе этой базы данных было построено 23 модели машинного обучения, включая те, что прогнозировали кражи, риск домашнего насилия и, что самое критичное, преступления против детей. Одна из моделей для оценки риска в отношении детей использовала обезличенные данные благотворительной организации Barnardo's по 1000 уже пострадавших несовершеннолетних. В качестве факторов риска учитывались статус ребенка, нуждающегося в помощи, пропуски школы и проблемы с психическим здоровьем.
Уже в 2016 году этический комитет полиции предупреждал о высоком риске алгоритмической предвзятости из-за выбранных переменных. Позже аудит, проведенный некоммерческой консалтинговой организацией Social Finance, подтвердил худшие опасения: точность моделей была признана самым слабым звеном, полностью подорвавшим их практическую ценность. Social Finance связала деградацию качества с изменением набора данных. При попытке масштабировать модели на пять местных советов полиция не смогла договориться об обмене социальными данными, и в итоге модели опирались лишь на полицейское «ядро», лишившись критически важных социальных индикаторов.
Аудит Eticas: точность ниже 10%
Отдельный анализ, проведенный аудиторской компанией Eticas на основе 36 000 оценок производительности, выявил, что у большинства моделей была крайне низкая точность положительных срабатываний. Например, модель для выявления потенциальных взломщиков более трех лет показывала точность ниже 10% — то есть менее одного из десяти отмеченных системой людей действительно совершал преступление. Аудиторы подчеркнули, что такие показатели абсолютно нехарактерны для профессионально управляемых моделей, находящихся в операционном использовании.
Сотрудники городских служб жаловались, что система пропускала уязвимых детей, в то время как фигуранты дел о кражах могли получать более высокие баллы риска. Другие работники откровенно заявляли, что не готовы полагаться на оценки из-за полной непрозрачности методики.
Мой анализ: Этот кейс — не просто история о сбое ИИ. Это яркий пример того, как амбиции по внедрению технологий в чувствительные сферы, такие как защита детей, могут быть разрушены из-за пренебрежения фундаментальными принципами data science: качеством данных, воспроизводимостью и прозрачностью. Отсутствие исходного кода и документов о принятии решений — это не техническая оплошность, а системный провал управления, который ставит под вопрос любые будущие инициативы PoliceAI.