Команда НГТУ НЭТИ разработала видеонавигатор с искусственным интеллектом, который помогает людям с нарушениями зрения ориентироваться в пространстве. Для работы достаточно иметь телефон на Android и специальное приложение. Камера устройства фиксируется на груди пользователя, а нейросеть анализирует видеопоток, распознавая препятствия и сообщая о них звуком. Об этом «Жуковский.Life» рассказали в пресс-службе университета.
Разработчики применяют сверточную нейронную сеть, обученную на размеченных данных, что позволяет вовремя предупреждать о преградах на расстоянии до 5 метров и быстро реагировать на неожиданные препятствия, например, автомобили или закрывающиеся ворота.
Обработка изображения занимает всего 300 миллисекунд. От зарубежных и отечественных аналогов навигатор отличается возможностью офлайн-работы, отсутствием рекламы и подписок.
В будущем планируется расширить функционал – добавить голосовой ввод для построения маршрутов и поиск объектов по названию, а также позволить пользователям добавлять свои объекты для распознавания. Руководитель проекта доцент Андрей Никулин ранее создал ручного помощника для людей с проблемами зрения.
Новая разработка студентов факультетов радиотехники, электроники и автоматизации уже получила первое место среди ИТ-проектов на конкурсе студенческих инициатив. Перед выходом приложения команда проведёт тестирование и продолжит устранять мелкие недочёты, не влияющие на основной функционал.
Разработана Python-библиотека Survivors для анализа времени наступления событий. Survivors нацелен на решение задач из медицины, промышленности, CRM и социологии, где важно предсказать время критических событий – поломки оборудования, уход клиента или выздоровление пациента.