Специалисты Университета штата Нью-Йорк в Бингемтоне разработали роботизированную собаку-поводыря, которая общается с незрячими людьми с помощью языковых технологий искусственного интеллекта. Из-за острой нехватки живых собак-поводырей только около 2% американцев с нарушениями зрения могут ими пользоваться, сообщила пресс-служба института.
Робот способен вести простые диалоги о навигации, описывать окружающую обстановку и обсуждать варианты маршрута, после чего ведёт человека за собой. Моделирование показало, что система правильно определяла пункты назначения в 94,8% случаев и сохраняла высокую точность даже при сильно искажённой речи.
Разработчики внедрили две ключевые функции. Первая — «вербализация плана»: робот переводит внутренние расчёты маршрута в устную речь. Например, на фразу «Мне хочется пить» система предлагает варианты: на кухню (одна дверь, три минуты) или к фонтанчику (нет дверей, одна минута). Вторая функция — «вербализация сцены»: при движении робот в реальном времени объявляет о пересечении новых зон, приближении к двери или входе в коридор, помогая незрячему человеку составить мысленную карту пространства.
Для оценки системы исследователи привлекли семь человек с нарушениями зрения в возрасте от 40 до 68 лет. Двое из них имели опыт работы с настоящими собаками-поводырями. Участники перемещались по офисному помещению под руководством робота. В целях безопасности физическими движениями устройства дистанционно управлял оператор — сам робот ещё не передвигался самостоятельно. Такая конфигурация позволила команде сосредоточиться на качестве общения.
Каждый участник опробовал три варианта настройки: минимальное вербальное взаимодействие, только описания сцен и полную систему (объединяющую информацию о маршруте с описаниями сцен по пути). Полная система получила 4,83 из 5 баллов за полезность и 4,50 балла за простоту общения. Участники, использовавшие полную систему, чаще других заявляли, что предпочли бы робота настоящей собаке-поводырю. По восприятию безопасности полная система получила 3,83 балла против 4,00 в других условиях — отзывы показали, что это не связано с опасностью, просто прогулка рядом с роботизированным животным стала новым опытом.
Помимо очных испытаний, команда провела моделирование на основе 77 навигационных запросов от 16 студентов — от прямых («Я хочу в туалет») до расплывчатых («Я хочу сесть и отдохнуть»). С использованием GPT-4 для имитации пользователя с нарушениями зрения система правильно определяла желаемое место назначения по намёкам в 94,8% случаев.
Исследователи также протестировали систему на невнятной речи, имитируя ошибки в шумных условиях, где почти каждый третий символ мог быть искажён. Точность снизилась всего примерно на 5%. Более простая система на основе ключевых слов практически не справилась с тем же уровнем шума. Когда робот заранее предоставлял информацию о навигации (расстояния и количество дверей), пользователи выбирали более короткие и эффективные маршруты. Разговоры длились немного дольше, но общее время выполнения задачи сократилось.
Роботизированные помощники для людей с ограниченными возможностями и для военных целей активно разрабатываются по всему миру. Интернет-газета «ЖУК» сообщала, что китайский научно-исследовательский институт автоматизации вооружений представил последнее поколение роботизированных «волчьих стай». Разработка отличается повышенной прочностью корпусов, более совершенным «мозгом» и улучшенной боевой готовностью по сравнению с предыдущими версиями.