ВТБ вместе с Центром ИИ МГУ сделал два детектора для цифровых помощников банка. Один встаёт перед ответом, другой — после него. Нейросети решили поставить не просто чат, а два шлагбаума: на входе и на выходе.
Первый проверяет запрос клиента. Если там запрещённая тема, нарушение закона или неэтичный текст, запрос не пойдёт в обработку. Тут логика простая: лучше остановить разговор сразу, чем потом объяснять, почему банковский помощник полез туда, куда ему не надо.
Второй смотрит уже на готовый ответ. Он ищет противоречия и несоответствия, показывает проблемный фрагмент, а дальше сотрудник может отправить ответ на повторную проверку или заблокировать. То есть детектор не выносит окончательный вердикт и не превращает выдумку модели в истину — он поднимает флажок, когда ответу нельзя верить на слово.
Для банковского помощника это не декоративная страховка. Такой бот может не только наговорить ерунды, но и уверенно подсунуть человеку неподходящую услугу. В обычном чате это неловкость. В банке — уже повод для разбирательства.
Но тут есть важная граница. В сообщении нет точности этих проверок, списка сервисов, где их включат, и срока запуска. Неясно и то, сколько спорных ответов система будет ловить, а сколько — пропускать. Подтверждена сама разработка и схема контроля; остальное пока без деталей. Так что это пока не история про «банк победил галлюцинации», а про попытку не выпускать сомнительные ответы без присмотра.