Российские исследователи создали инновационную модель искусственного интеллекта, которая способна с высокой точностью распознавать эмоции в человеческой речи. По словам представителей Сбера, эта разработка значительно превосходит большинство существующих аналогов, особенно при работе со сложными типами контента.
Исходный код модели опубликован в открытом доступе, что позволяет другим учёным использовать её в своих исследованиях. Это даёт возможность проводить дополнительные эксперименты для проверки работы модели с различными языками и наборами данных, а также повышать её универсальность и применимость в реальных условиях.
Модель можно обучать на русскоязычных эмоциональных корпусах, после чего применять в голосовых помощниках и контакт-центрах.
Новый алгоритм, получивший название CA-SER, был разработан группой исследователей из лаборатории искусственного интеллекта Сбербанка, Института AIRI и МФТИ. Система искусственного интеллекта построена на основе парадигмы самообучения (SSL) и объединяет в себе несколько подходов, активно используемых при анализе устной речи и распознавании эмоций.
Сначала система анализирует важные характеристики речи, а затем добавляет к ним данные о звуках голоса, включая их громкость и тональность, с учётом того, какую часть аудиоспектра лучше всего воспринимает человек. Эти два типа информации объединяются с помощью специального механизма, который эффективно связывает общие характеристики речи с её деталями, что позволяет точнее определять эмоции говорящего.
Работу этой системы искусственного интеллекта и ещё девяти аналогичных проектов российские учёные проверили с помощью образцов из базы данных IEMOCAP. Она содержит обширный набор аудиозаписей, видео, расшифровок текстов и других мультимедийных данных, связанных с широким спектром человеческих эмоций.
Эти тесты показали, что разработка российских учёных значительно превосходит большинство других систем искусственного интеллекта и сопоставима с более сложной нейросетью-трансформером HuBERT от компании Facebook (запрещена в России, принадлежит корпорации Meta, признанной в РФ экстремистской).
Учёные надеются, что их разработка значительно улучшит работу голосовых помощников и других цифровых систем, где необходимо точно распознавать эмоции пользователей.