Американская военная операция против китайского судна этой весной почти стартовала из-за выдумки чатбота. Самолёты уже были в воздухе, группа для досмотра готовилась к делу, а потом кто-то всё-таки полез проверять первичку. И выяснил: «разведданные» про груз были кривые.
Сюжет не из серии «ИИ написал смешной рецепт клея». Аналитик из Special Operations Command попросил чатбот собрать в кучу открытые данные и секретную радиоразведку по судовому манифесту. Инструмент неверно определил груз. Потом его же использовали ещё раз — уже чтобы упаковать ошибку в аккуратную служебную сводку. Бумажка пошла по командным каналам, то есть выглядела не как черновик из чата, а как нормальный документ для людей, которые решают быстро и жёстко.
Фальшивый вывод был такой: на судне якобы везут компоненты для ядерной оружейной программы. На фоне войны с Ираном это не мелкая опечатка в Excel, а почти готовая кнопка «ну всё, поехали». Операцию остановили в последний момент; пострадавших и досмотра судна в опубликованных материалах нет.
Самое неприятное — неизвестно, какой именно чатбот использовали. CNN не смогла установить, был ли это коммерческий сервис или внутренний правительственный инструмент. А это важная разница: одно дело сотрудник сам притащил модную игрушку, другое — система уже встроена в рабочий контур и выглядит «разрешённой».
На этом фоне Пентагон как раз ускоряет внедрение ИИ: быстрее обрабатывать данные, быстрее сокращать цепочку от сигнала до решения. Логика понятная — на войне очередь к аналитику не стоит спокойно с талончиком. Но скорость тут и есть подвох: модель ошиблась, человек красиво оформил, начальство получило документ. Если проверка включается только у финишной ленточки, это уже не ускорение, а доставка галлюцинации наверх бизнес-классом.
Jake Steckler из GovAI, бывший офицер армии США, формулирует сухо: военным надо понимать неопределённость LLM, особенно там, где речь про наведение, разведку и планирование операций. Перевод на бытовой: чатбот может быть полезным стажёром, но пускать его к сейфу с боевыми решениями без взрослого в комнате — идея так себе.