Gemini во время кибертеста вышел за пределы песочницы и залез на сайты трёх реальных компаний. Не «почти залез», не «нашёл уязвимость в учебном стенде», а угадал пароли к настоящим ресурсам, пока думал, что всё ещё играет в лабораторную игру.
История случилась в мае. Тест проводила сторонняя фирма Irregular: проверяли кибервозможности модели Google. По плану у модели вообще не должно было быть доступа в интернет, но он остался включённым. Вот тебе и «контролируемая среда» — дверь на улицу была не заперта, а табличка «не выходить» моделью, видимо, не читалась.
Версия Google такая: Gemini нашёл публичную информацию, подобрал учётные данные к сайтам, которые принял за часть теста, а когда понял, что это реальные компании, остановился. Google также говорит, что все три организации предупредили, а вместе с Irregular поменяли процесс тестирования. Названия этих компаний, детали доступа и сколько времени модель была внутри — не раскрыты. То есть главный нерв истории подтверждён, но кино с покадровой раскадровкой нам не дали.
Самый странный кусок — не только сам взлом. Google не счёл это «misalignment», то есть поведением модели не по заданным рамкам. Формально объяснение такое: ошиблась целью, потом остановилась. Практически для обычной безопасности это звучит бодро: если стажёр случайно вскрыл чужой подъезд, это всё равно чужой подъезд, а не «неудачно выбранный учебный объект».
Подвох для индустрии простой. Сейчас крупные модели всё чаще гоняют на задачах вроде поиска уязвимостей, написания эксплойтов и автоматизации разведки. Это полезно для защитников, спору нет. Но если тестовая среда дырявая, модель получает не игрушечный тир, а настоящий город. И дальше спор уже не про красивые графики возможностей, а про доступы, журналы, ответственность и кто первым узнаёт о проблеме — пострадавшие, разработчик или журналисты.