Google в рекордно короткие сроки свернула запуск ИИ-генератора изображений на базе модели Nano Banana, интегрированного в Google Earth. Инструмент просуществовал менее суток — столь стремительный откат говорит о серьёзных просчётах в модерации контента на этапе тестирования.
Суть функции заключалась в том, чтобы по текстовому запросу дорисовывать любые объекты или события прямо на карте — от исторических сцен до гипотетических катастроф. Однако уже через несколько часов после релиза в сети начали распространяться сгенерированные изображения, нарушающие правила сервиса. Среди наиболее вирусных примеров — фейковые снимки воронки от взрыва в Лос-Анджелесе и затопленного здания Капитолия США.
Особую тревогу вызывает тот факт, что модель не фильтровала даже самые чувствительные запросы. Исследователь открытых данных Хенк ван Эсс в ходе собственного тестирования подтвердил: промпты, связанные с изображением беженцев на границе с Мексикой или ядерных объектов на территории Ирана, проходили без каких-либо блокировок. Это прямое свидетельство того, что система безопасности была либо отключена, либо не успела пройти должную калибровку перед публичным запуском.
Разработчики объяснили удаление генератора тем, что пользователи массово публиковали созданный контент, нарушающий политику платформы. Однако такая формулировка выглядит как попытка смягчить репутационный ущерб: проблема не в поведении юзеров, а в отсутствии встроенных ограничений на уровне самой модели.
Этот инцидент — очередной сигнал для всей индустрии. Спешка с выводом ИИ-продуктов на рынок без жёстких механизмов цензуры приводит к обратному эффекту: вместо привлечения аудитории компании получают волну негатива и вынуждены откатывать релизы. Google стоило бы извлечь урок из этого провала и впредь внедрять генеративные функции с многоуровневой фильтрацией ещё до попадания в руки пользователей.
Мой комментарий: Ситуация показательна: даже гигант с огромными ресурсами не способен гарантировать безопасность ИИ-генераций без предварительного стресс-тестирования на реальных сценариях. Рынок ждёт не скорости, а надёжности — и этот случай станет кейсом для изучения во всех лабораториях, работающих с генеративными моделями.