Ученые Санкт-Петербургского федерального исследовательского центра РАН разработали интеллектуальную систему MASAI, способную распознавать эмоции и сентимент человека на основе анализа аудиовизуальной информации — видео, звука и текста. MASAI использует комплекс нейросетей, которые работают с мультиформатными данными: система определяет радость, злость, грусть и другие эмоциональные проявления, а также анализирует отношение человека к событиям — положительное, отрицательное или нейтральное. Об этом «Жуковский.Life» рассказали в пресс-службе РАН.
Точность распознавания эмоций с помощью MASAI достигает 80%, что превосходит существующие системы.
Разработка создает новые возможности для внедрения эмоционального искусственного интеллекта и усовершенствования цифровых помощников. В ближайшем будущем такие помощники смогут точнее реагировать на эмоциональное состояние пользователей, анализируя не только речь, но и мимику, жесты, взгляд, а также текстовую информацию.
Интерфейс MASAI понятен и удобен: взаимодействие осуществляется через графическую панель, куда можно загрузить аудиовизуальные данные для анализа.
Система автоматически определяет эмоции и сентимент, что особенно ценно для сервисов поддержки и здравоохранения, где важно реагировать на эмоциональные нужды человека. Уникальность MASAI — способность «слышать» и «видеть» эмоции даже в сложных условиях, например, в шуме, при плохом освещении или если человек не смотрит в камеру.
В основе MASAI — несколько нейронных сетей, обученных на обширных интернациональных базах данных с десятками тысяч записей людей разного пола, возраста и национальности. Для русскоязычной базы с эмоциями работали молодые актеры театральных вузов, чтобы система могла различать семь базовых человеческих эмоций и три типа сентимента.
В настоящее время система анализирует как заранее записанные материалы, так и позволяет работать с мимикой и голосом человека в реальном времени. Такой уровень анализа дает цифровым помощникам новое качество понимания пользователей и значительно расширяет их возможности.
Петербургские ученые создают эмоциональный словарь для искусственного интеллекта. Главная идея работы — дать машинам возможность лучше распознавать настроение, выраженное человеком, и, таким образом, сделать искусственный интеллект более восприимчивым к эмоциям пользователей.