NVIDIA выпустила Nemotron 3.5 Transcribe — модель с открытыми весами, которая берёт запись и делает из неё не только текст. Она может подписать говорящих, перевести разговор, расставить таймкоды по словам и ответить на вопрос по аудио. То есть из созвона можно вытащить не кашу реплик, а хоть черновик протокола.
Модель работает с 40 языками, переводит 31 язык в английский и обратно, а голоса различает в 13. За раз ей можно скормить запись длиной до часа и попросить разметить до восьми участников. Для медицинского разговора или внутреннего жаргона ей разрешают заранее подсунуть список терминов. Но с оговоркой, без которой такие штуки быстро начинают фантазировать: использовать слово надо, только если оно действительно прозвучало.
Главный фокус тут не в одном новом бенчмарке, а в том, что раньше для такого набора задач часто приходилось склеивать распознавание речи, переводчик и отдельный сервис, который пытается понять, кто перебил кого. Здесь это собрано в одном чекпойнте и управляется обычной инструкцией: «переведи», «подпиши спикеров», «что решили на встрече».
В открытом рейтинге Hugging Face у Nemotron средняя ошибка распознавания английской речи — 5,33%. Это не оценка «насколько модель умная»: WER просто считает, какую долю слов она перепутала, пропустила или вставила лишней. Рейтинг подтверждает число, но не отменяет старую проблему расшифровок: имена, смены говорящего и выводы по аудио надо сверять с записью.
Запустить модель локально прямо сейчас тоже не обещают всем подряд. Квантованные версии ещё готовятся; пока доступны демо и скачивание весов. NVIDIA заодно открыла Granary v2 — набор манифестов и конвейер подготовки многоязычных аудиоданных для тех, кому мало подсказки в промпте и нужно дообучать распознавание под свой словарь. Цена, готовые локальные сборки и реальная скорость на обычном железе в материале не раскрыты.