Корпорация Google была вынуждена в экстренном порядке деактивировать ИИ-генератор изображений на базе модели Nano Banana, интегрированный в Google Earth. Инструмент просуществовал менее суток — настолько стремительной оказалась реакция сообщества на откровенно опасный контент, который нейросеть создавала без каких-либо ограничений.

Функционал позволял пользователям «дорисовывать» на карте любые объекты или события по текстовому описанию. Однако уже в первые часы работы в сеть утекли сгенерированные изображения, изображающие последствия взрыва в Лос-Анджелесе и затопленный Капитолий США. Это не просто безобидные артефакты — подобные фейки способны спровоцировать панику или быть использованы в дезинформационных кампаниях.

Особую тревогу вызывает тот факт, что система не фильтровала даже самые чувствительные запросы. Исследователь открытых данных Хенк ван Эсс публично подтвердил: его промпты, включая генерацию изображений беженцев на границе с Мексикой или ядерных объектов в Иране, проходили без единого предупреждения или блокировки. Это прямое нарушение собственных политик Google по борьбе с вредоносным контентом.

Разработчики объяснили удаление инструмента тем, что пользователи массово нарушали правила сервиса. Однако, на мой взгляд, проблема глубже: компания явно недооценила риски, связанные с генеративными моделями в геопространственном контексте. Когда нейросеть получает доступ к реальным координатам, грань между вымыслом и «документальным» свидетельством стирается катастрофически быстро.

Этот инцидент — яркий пример того, как поспешное внедрение ИИ без должного контроля может обернуться репутационным ударом. Google стоило бы сначала протестировать механизмы модерации на закрытой выборке пользователей, прежде чем выпускать такой мощный инструмент в открытый доступ. В противном случае мы будем наблюдать подобные провалы снова и снова — и не только у гигантов вроде Google.