Корпорация Google экстренно деактивировала свой новый ИИ-инструмент для генерации изображений в Google Earth, который был интегрирован в платформу на базе модели Nano Banana. Функция просуществовала менее 24 часов — столь стремительное сворачивание указывает на серьёзные просчёты в модерации контента.
Инновация позволяла пользователям с помощью текстовых запросов «дорисовывать» произвольные объекты или события непосредственно на картографических данных. Однако уже в первые часы работы сервиса в сети начали распространяться сгенерированные ИИ изображения, нарушающие политику платформы. Среди наиболее резонансных примеров — фейковые снимки воронки от взрыва в Лос-Анджелесе и затопленного здания Капитолия в Вашингтоне.
Особую тревогу вызывает тот факт, что система не фильтровала даже потенциально опасные запросы. Исследователь открытых данных Хенк ван Эсс подтвердил, что его промпты, включая визуализацию беженцев на границе с Мексикой или изображение ядерного объекта в Иране, проходили без каких-либо ограничений. Это ставит под вопрос эффективность алгоритмов безопасности, которые Google внедряет в свои генеративные продукты.
Разработчики объяснили удаление функции нарушением пользователями правил сервиса, но, судя по скорости реакции, проблема глубже — речь идёт о фундаментальной неготовности ИИ-модели к работе с геопространственными данными, где контекст и чувствительность имеют критическое значение.
Мой анализ: Этот инцидент — очередное доказательство того, что гонка за внедрением генеративного ИИ в массовые продукты опережает развитие систем контроля. Google вновь столкнулась с дилеммой: скорость вывода на рынок против репутационных рисков. Показательно, что даже такие гиганты, как Google, не способны предвидеть все сценарии злоупотребления, особенно когда речь идёт о визуализации реальных географических объектов. Рынку нужны более жёсткие стандарты верификации контента до того, как подобные инструменты станут доступны широкой аудитории.