Бристольский ИИ-скоринг детей: ошибки, предвзятость и закрытые модели
Полиция Эйвона и Сомерсета совместно с городским советом Бристоля прекратили использование как минимум двух моделей машинного обучения, предназначенных для оценки риска преступлений против детей. Причина — критически низкая точность и полная непрозрачность алгоритмов. Независимые аудиторы столкнулись с невозможностью верификации: исходный код и список переменных оказались утеряны.
В основе этих систем лежала база данных Think Family Database, запущенная в 2016 году. Она агрегировала полицейские и социальные данные о почти 500 000 жителей города — от жилищного статуса и психического здоровья до пропусков школы и получения бесплатного питания. Сбор информации проводился без явного согласия граждан, на основе юридических норм межведомственного обмена. Один из сотрудников полиции описывал этот процесс как «сваливание всего в одно большое ведро».
Системные ошибки и алгоритмическая предвзятость
Уже в 2016 году этический комитет полиции предупреждал, что выбранные переменные могут привести к алгоритмической предвзятости. Однако предупреждения были проигнорированы. Позднее некоммерческая консалтинговая организация Social Finance в своем обзоре назвала риск-скоринг самым слабым звеном проекта. Аналитики выявили, что уязвимые дети, недавно ставшие жертвами преступлений, могли получать более низкий балл, чем фигуранты дел о кражах со взломом. Сотрудники городских служб открыто заявляли, что не доверяют системе из-за непрозрачной методики.
Отдельный аудит, проведенный компанией Eticas на основе 36 000 оценок производительности 13 моделей, показал, что у большинства из них точность положительных срабатываний была ниже 10%. Это означает, что более 90% людей, которых система помечала как потенциальных преступников, на самом деле не совершали правонарушений. Для модели, выявляющей потенциальных взломщиков, этот показатель держался ниже 10% на протяжении более трех лет.
Провал на фоне масштабирования PoliceAI
Этот инцидент приобретает особую значимость на фоне запуска PoliceAI — национального центра тестирования и масштабирования ИИ-инструментов в 43 полицейских управлениях Англии и Уэльса с бюджетом в 75 млн фунтов стерлингов. Примечательно, что возглавляет этот центр бывший главный констебль полиции Эйвона и Сомерсета Энди Марш — тот самый регион, где разрабатывались и были забракованы спорные ИИ-модели.
Кейс Бристоля — это не просто история о неудачном алгоритме. Это системный провал, демонстрирующий, что риски внедрения ИИ в правоохранительной сфере связаны не только с точностью самих моделей, но и с качеством исходных данных, отсутствием прозрачности и невозможностью независимого аудита. Полиция и городской совет Бристоля к июню 2023 года не сохранили даже документы о решении отказаться от двух моделей оценки рисков преступлений против детей. Это ставит под вопрос способность ведомств управлять такими технологиями и нести за них ответственность.
Мнение эксперта: История с бристольскими ИИ-моделями — классический пример того, как стремление к технологической модернизации без должного контроля за качеством данных и алгоритмической прозрачностью приводит к дискредитации самой идеи использования ИИ в социально значимых сферах. Пока полицейские управления не научатся вести элементарную документацию и не обеспечат возможность внешнего аудита, любые разговоры о «безопасном» и «этичном» ИИ останутся пустыми декларациями.