Учёные из Новосибирского филиала НМИЦ «МНТК Микрохирургия глаза» совместно с исследователями из Центра искусственного интеллекта НГУ создают устройство, призванное облегчить жизнь слабовидящих и незрячих людей. Этот прибор позволит им точнее ориентироваться в окружающей среде, используя современные технологии. Об этом «Жуковский.Life» рассказали в пресс-службе НГУ.
По словам профессора Валерия Черных, сегодня существует множество способов помочь незрячим адаптироваться и вести полноценную жизнь, однако многие из них требуют больших финансовых затрат или представляют собой сложные операции, например, внедрение чипов в сетчатку или мозг. Такие методы редки, рискованны и часто имеют ограниченный эффект.
Новая разработка опирается на использование слухового анализатора мозга, который поможет формировать у пользователя звуковое представление об объектах вокруг него — расстоянии, размерах и местоположении таких предметов, как двери, окна или транспорт. Аппарат будет автономным и не потребует подключения к интернету.
Принцип работы устройства основан на видеокамере, которая снимает обстановку, а встроенный портативный компьютер преобразует изображения в текстовые описания. Затем голосовой помощник озвучивает эту информацию пользователю через наушники, предоставляя необходимые сведения для безопасной навигации.
Сейчас разработчики используют мультимодальные языковые модели, способные создавать точные описания помещений и объектов. В будущем планируется добавить возможность задавать вопросы и получать подробные ответы, а также распознавать и читать тексты, указатели и предупреждения вокруг пользователя.
Голосовой скрининг для оценки болезни Паркинсона придумали в НГТУ НЭТИ. Новое веб-приложение анализирует изменение характеристик голоса пациентов, таких как амплитуда, продолжительность, паузы, дрожание и прерывистость.