Корпорация Google была вынуждена в экстренном порядке деактивировать свой новый ИИ-генератор изображений, интегрированный в Google Earth на базе модели Nano Banana. Инструмент просуществовал менее 24 часов — столь стремительный откат свидетельствует о серьезных просчетах в модерации контента.

Суть функции заключалась в том, чтобы по текстовому запросу пользователя дорисовывать произвольные объекты или события в любую точку карты. Однако уже в первые часы после запуска в сети начали распространяться сгенерированные нейросетью фейковые изображения, изображающие, например, воронку от взрыва в Лос-Анджелесе или затопленный Капитолий США. Подобный контент грубо нарушает правила сервиса, что и стало формальным поводом для отключения.

Показательна реакция исследователя открытых данных Хенка ван Эсса, который в ходе тестирования обнаружил, что его запросы — от создания изображения беженцев на границе с Мексикой до визуализации ядерного объекта в Иране — не блокировались системой вовсе. Это прямо указывает на отсутствие адекватных фильтров безопасности на этапе первичного запуска.

Ситуация в очередной раз демонстрирует фундаментальную проблему больших языковых моделей: генеративные алгоритмы, обученные на огромных массивах данных, не способны самостоятельно оценивать этический и политический контекст своих "творений". Для Google, которая активно продвигает свои ИИ-решения в корпоративном и потребительском сегментах, такой инцидент — репутационный удар, который может заставить компанию пересмотреть темпы внедрения подобных функций в геосервисы.

Мой взгляд: Это не единичный сбой, а системная закономерность. Пока разработчики ставят во главу угла скорость вывода продукта на рынок, а не качество цензуры, подобные инциденты будут повторяться. Урок для всей индустрии прост: прежде чем давать ИИ доступ к геопространственным данным, необходимо в десять раз усилить механизмы контент-фильтрации, иначе доверие пользователей будет подорвано окончательно.