Студенты Политехнического института НовГУ Артём Алексеев и Валентин Баранов создали две модели искусственного интеллекта: первая определяет рамки лиц на фотографиях, вторая — ключевые точки лица (глаза, брови, нос, рот). Эти модели работают вместе, распознавая и выделяя лица, а также считывая биометрические параметры. Об этом «Жуковский.Life» рассказали в пресс-службе университета.
Обучение прошло на открытых датасетах, дополненных и отредактированных, а тестирование на закрытых данных показало точность распознавания рамки лица 87%, а ошибка определения ключевых точек — менее двух пикселей при размере изображения 96х96 пикселей.
Под руководством Игоря Кулакова, ассистента кафедры информационных технологий и систем НовГУ, команда планирует использовать эти модели для создания айтрекера — устройства, позволяющего управлять компьютером с помощью взгляда, что особенно важно для людей с ограниченными возможностями. В следующем семестре начнётся сбор данных для обучения третьей модели, которая будет определять направление взгляда, а к началу 2026 года ожидается появление рабочего прототипа ПО.
Ранее под руководством Кулакова была создана нейросетевая система для распознавания жестов рук и разрабатывается модель для обработки голосовых команд. Все эти технологии будут интегрированы в айтрекер.
Исследования в области айтрекинга ограничены, а существующие решения обладают значительной погрешностью. Системы на базе шлемов показывают точность около 0,5°–1° визуального угла (около 1–2 см на экране), а нейросетевые разработки имеют ещё более высокие ошибки до нескольких градусов (до 5 см и более). Благодаря современным инструментам машинного обучения команда НовГУ нацелена создать более точный и доступный айтрекер.
А ещё в Новосибирском государственном техническом университете НЭТИ разработали программный комплекс, который на основе цифрового двойника позволяет выявлять даже небольшие дефекты в промышленных изделиях без их повреждения.