Лаборатория методов эффективного ИИ и инфраструктуры данных для низкоресурсных сред, созданная на базе ИТМО совместно с MWS AI, разработала новый подход SEAM для адаптации моделей синтеза речи к новым языкам. Об этом сообщили в пресс-службе Университета ИТМО.
Для того чтобы голосовая модель заговорила на новом языке, её обучают на парах «текст – аудиозапись». Если таких примеров недостаточно, модели сложнее понять, как новые элементы языка должны звучать и сочетаться. Это приводит к снижению качества синтеза. Проблема особенно актуальна для языков с ограниченными наборами размеченной речи – аудиозаписей с точными текстовыми расшифровками, подготовленными специалистами.
Исследователи из MWS AI и ИТМО предложили метод SEAM, который уменьшает зависимость голосовых моделей от большого объёма обучающих данных. Вместо формирования нового языкового элемента с нуля, SEAM использует уже известные нейросетевой модели части и учитывает их правильное фонетическое расположение.
Метод был протестирован на русском, казахском и французском языках с двумя архитектурами синтеза речи. В экспериментах SEAM продемонстрировал высокое качество синтеза при обучении на 25 часах аудиоданных. Для сравнения, стандартный метод требовал 100 часов для достижения аналогичного результата, что означает необходимость почти в четыре раза меньше данных.
Этот подход может быть полезен компаниям, разрабатывающим голосовых помощников, сервисы озвучивания и автоматизации клиентской поддержки. Особенно он актуален при выходе на новые рынки, где необходимо адаптировать продукты к местным языкам.
«Для того, чтобы научить ИИ новому языку, совершенно не обязательно начинать с нуля; можно подойти к этой задаче с позиций «продвинутого лингвиста». Современные нейросети уже способны не просто понимать язык, но обобщать и систематизировать знания о его природе, а также транслировать эти знания на другие языки, автоматически отмечая их сходства и различия. Как следствие, когнитивные функции ИИ тут сводятся уже не к запоминанию, а к осмыслению информации, что требует меньше данных. Однако это порождает иную опасность – обученная таким образом система может создавать свой «новояз», особенно за счет изменения произношения слов из разных языков, как это бывает, например, в интернациональных детских коллективах», – отметил д.т.н., руководитель Института ИИ ИТМО Александр Бухановский.
Научную работу, в которой описан подход SEAM, приняли на EMNLP 2026 – одну из ведущих мировых конференций по обработке естественного языка, которая проходит с 24 по 29 октября в Венгрии. Стаматис Лефкимиатис, руководитель департамента фундаментальных исследований MWS AI и один из исследователей, работавших над SEAM, в октябре вошёл в международную базу Top 2% Scientists, которая оценивает научное влияние учёных по показателям цитирования.
Нейросети учатся говорить на новых языках, но важно помнить и о рисках общения с ними. Как рассказывала интернет-газета «ЖУК», отношения с нейросетями опасны для реального общения. Такое общение приводит к тому, что человек перестаёт справляться с дискомфортом реальных отношений, где есть конфликты и несовпадения.