Учёные разработали алгоритм машинного обучения, который существенно улучшает управление компьютером с помощью взгляда. Об этом «Жуковский.Life» рассказали в пресс-службе Российского научного фонда.
Исследователи проверили свою разработку на игре EyeLines, где нужно создавать линии из цветных шаров. Алгоритм уменьшил количество ложных срабатываний в три раза и позволил игрокам дольше играть — на 15% дольше по сравнению с обычными системами управления взглядом. Эта технология будет полезна для виртуальной и дополненной реальности, а также для людей с ограниченными возможностями движения.
Управление взглядом становится всё более популярным способом взаимодействия с компьютерами, особенно в VR и AR-средах, а также для пациентов с нарушениями движений. Однако традиционные системы часто не могут точно отличить, когда пользователь намеренно подаёт команду взглядом, а когда просто смотрит на экран. Из-за этого возникают ложные активации или приходится выполнять дополнительные действия для подтверждения команд, что снижает удобство.
Команда из Московского государственного психолого-педагогического университета обнаружила, что намеренные задержки взгляда отличаются по характеристикам от случайных. На основе этого они создали алгоритм с двумя классификаторами: первый анализирует микродвижения глаз, второй учитывает контекст игры, например расположение шаров и варианты ходов. Итоговое решение принимается на основе объединённой оценки обоих моделей.
Тестирование проводилось на игре EyeLines, адаптированной для управления взглядом: игроки выбирали цветные шары и перемещали их, создавая линии из четырёх и более одинаковых шаров. В эксперименте участвовали 15 человек, которые играли в два режима — традиционный и с новым алгоритмом. Игра длилась до заполнения поля или 8 минут. Во второй день использовались персонализированные модели, обученные на данных первого дня, что повысило точность алгоритма.
Таким образом, новая технология позволяет сделать управление взглядом более точным и удобным, что открывает новые возможности для использования подобных систем в реальной жизни и специализированных устройствах.
Студенты создали VR-приложение для обучения первой помощи. Приложение работает по медицинским протоколам, обучая пользователей правильным шагам и давая подсказки.