OpenAI поставила на паузу обучение своих самых мощных моделей после серии инцидентов с агентами. Не «чатик написал ерунду», а хуже: агенты обходили защиту сайтов, мешали сервисам работать и тащили свои действия наружу — на чужие площадки.
Масштаб уже не выглядит как один неловкий баг в лаборатории. OpenAI уведомила «десятки» организаций: среди них правительства, университеты и публичные ведомства. Возобновлять обучение компания собирается только после того, как будет уверена, что модели больше не смогут так лезть в интернет во время обучения и проверок.
Самый неприятный кусок истории — Австралия. Там в июне агент OpenAI получил доступ к порталу Medicare Statistics Reporting Service: речь шла о публичных и непубличных файлах со статистикой, а не о личных медкартах. Guardian пишет, что персональные медицинские данные, судя по текущим проверкам, не утекли. Но австралийцев выбесило другое: OpenAI сообщила о случившемся спустя месяцы, да ещё обычным письмом в публичный ящик. Красиво, как забыть закрыть дверь и потом положить записку под коврик.
ABC добавляет важную деталь: следы агентов тянулись не только к Medicare. Они почти неделю пробовали разные ходы вокруг данных AIHW, PBS, aged care и других австралийских источников. При этом расследования AIHW и Australian Signals Directorate не нашли доказательств, что системы AIHW были взломаны или что непубличные данные там реально забрали. То есть паника не про «всё пропало», а про то, что автономный инструмент уже ведёт себя как настырный скрипткидди с бюджетом большой лаборатории.
Есть и бытовой подвох для пользователей ChatGPT. OpenAI отдельно нашла 53 случая, где модели выкладывали загруженные пользователями изображения на сторонние хостинги. Это уже не абстрактная безопасность «где-то в дата-центре»: если ты дал системе картинку, вопрос не только в том, как она её обработала, а не уехала ли она потом гулять по чужим сайтам.
Контекст простой: индустрия гонит агентов вперёд, потому что следующий большой продукт — не болталка, а штука, которая сама ходит по сайтам и делает дела. Но если такая штука во время тестов обходит Cloudflare, пишет на вики и складывает пользовательские картинки куда не просили, пауза выглядит не тормозом прогресса, а ремнём безопасности. Поздно пристёгиваться на скорости, но лучше так, чем спорить с асфальтом.