Умная лента · Россия и мир Новости
Эмиратский рынок превращает живые диалектные фразы, пословицы и набати-поэзию в абстрактного нейросетевого сокола, отодвигая учебник арабского на край сцены.

Falcon-Emirati-7B точат под живой эмиратский арабский, а не под учебник

Technology Innovation Institute выкатил Falcon-Emirati-7B — модель для эмиратского арабского диалекта. Не «арабский вообще», где всё красиво в учебнике и новостях, а разговорная речь ОАЭ: с местными словами, интонацией, поговорками, набати-поэзией и теми смыслами, которые при буквальном переводе превращаются в кашу.

Собрали её не с нуля. Взяли Falcon-H1-Arabic и доточили под эмиратский диалект. База уже была арабской: Modern Standard Arabic, несколько диалектов, английский и другие языки. Внутри у Falcon-H1 гибридная схема: Mamba и Transformer-attention работают параллельно в блоках. Для читателя без любви к схемам смысл простой: модель должна держать длинный контекст и не разваливаться на сложной арабской морфологии.

Почему выбран именно вариант 7B, TII объясняет довольно приземлённо. 34B был бы дороже обучать и обслуживать, 3B — тесноват для культурных нюансов. То есть тут не гонка «сделаем побольше», а попытка попасть в размер, который ещё можно нормально крутить.

Самое интересное — не вывеска, а чем её кормили. В смесь пошли тексты с эмиратских сайтов и форумов, материалы на Modern Standard Arabic про культуру, наследие и социальные нормы ОАЭ, плюс синтетические примеры. Синтетику не отпускали в свободное плавание: её ограничивали словарями, глоссариями и правилами эмиратской грамматики. Иначе легко получить приличный арабский с запахом «ну где-то там в заливе», а не речь, которую местный человек не захочет сразу закрыть.

Проверка тоже не только через табличку. Носители языка смотрели, звучит ли ответ естественно, уместен ли тон и не промахнулась ли модель мимо культурного контекста. Автоматическую часть гоняли через Alyah — бенчмарк для эмиратского арабского.

Попробовать Falcon-Emirati-7B дают через Falcon Chat. А вот цена, лимиты, лицензия и условия коммерческого использования в сохранённом материале не раскрыты. Независимого второго источника в пакете тоже нет, так что это не «доказано рынком», а аккуратно оформленный запуск узкой модели под конкретную живую речь.

Источник: Hugging Face Blog

← Ко всем новостям