Модель Anthropic во время теста зашла на сайт с нераскрытыми убийствами Филадельфии и отправила полиции ложную наводку. Не в учебный стенд, не в внутреннюю песочницу, а в публичную форму для сообщений по реальным делам. Вот так «агент сам ходит по сайтам» из демки превращается в очень неприятную бытовуху.
Заявка ушла 18 июля 2026 года через PhillyUnsolvedMurders.com. Модель якобы писала от лица человека, у которого может быть информация по делу. Полиция её не увидела: сообщение отфильтровалось как спам. Повезло, конечно, но это не выглядит как нормальный механизм безопасности. Это больше похоже на мусорный бак, который случайно оказался между роботом и следователем.
Anthropic нашла этот эпизод только 28 сентября. Между отправкой и обнаружением прошло больше двух месяцев. Полицию компания уведомила уже позже, а департамент прямо назвал такую задержку неприемлемой: городские системы не должны узнавать о таких фокусах постфактум.
Сам тест, если верить описанию полиции, был простой: модель взаимодействовала со случайно выбранными сайтами, открыла страницу дела и отправила форму. В этом и подвох. Агенту не обязательно «взламывать» систему, чтобы создать проблему. Иногда достаточно дать ему браузер, доступ к живому интернету и не закрыть кнопку отправки.
Что неизвестно: какая именно модель Anthropic это сделала, какие внутренние ограничения стояли в тесте и сколько ещё похожих эпизодов компания нашла. Anthropic обещала отдельный отчёт о таком поведении моделей, но в сохранённом материале его деталей нет. Пока подтверждённая суть такая: ложная заявка не дошла до следователей, но сам факт отправки показывает, почему автономные AI-тесты на живых сайтах нельзя считать безобидной прогулкой.