Новое приложение NaviSense для смартфонов помогает людям с нарушениями зрения находить предметы без предварительной загрузки баз данных. Технология использует внешние языковые и визуальные модели для распознавания объектов по голосовой команде, сообщило Interesting Engineering.
Приложение создали исследователи из Университета штата Пенсильвания. По словам профессора Виджайкришнана Нараянана, старые инструменты были неэффективны, так как требовали загрузки моделей объектов в память. NaviSense решает эту проблему, подключаясь к серверу с большими языковыми и визуальными моделями.
Система не только находит объекты, но и направляет к ним руки пользователя с помощью жестов и обратной связи. Эту функцию разработали после интервью с незрячими людьми, выявившими потребность в таком решении.
«Используя VLM и LLM, NaviSense может распознавать объекты в окружающей среде в режиме реального времени с помощью голосовых команд без необходимости предварительной загрузки моделей объектов, — сказал Нараянан. — Это важная веха в развитии данной технологии».
Тестирование с участием 12 человек показало, что NaviSense работает быстрее и точнее коммерческих аналогов. Один из пользователей отметил: «Мне нравится, что он подсказывает, где находится объект, слева или справа, вверху или внизу, а затем — бац, и вы попадаете в яблочко». Сейчас разработчики работают над снижением энергопотребления приложения для его коммерческого выпуска.
В России также ведутся разработки в области технической помощи незрячим. Как сообщало «Жуковский.Life», новосибирские студенты создали видеонавигатор с искусственным интеллектом, который крепится на груди и анализирует окружение через камеру смартфона, предупреждая пользователя о препятствиях с помощью звуковых сигналов.