Специалисты Московского физико-технического института (МФТИ) разработали модульную систему управления для человекоподобных роботов, работающих на складах. Об этом сообщили в пресс-службе МФТИ.
Современная технология позволяет роботам создавать обновляемые трёхмерные карты окружающего пространства и самостоятельно планировать свои действия на основе голосовых команд, произносимых на естественном языке. Исследование было опубликовано в журнале Engineering Applications of Artificial Intelligence.
Одной из главных проблем автономных роботов на складах является их способность адаптироваться к изменяющимся условиям и правильно интерпретировать голосовые команды операторов. Существующие системы, которые полагаются только на текстовые инструкции, часто не справляются с реальными условиями: они не учитывают изменения в обстановке, перемещение людей и грузов, а также не могут выстраивать иерархию действий при выполнении сложных задач.
Метод, разработанный в МФТИ, получил название SG-RAPL. Он объединяет технологии построения трёхмерных карт и использования больших языковых моделей. Система в реальном времени создаёт детальный граф сцены, включающий все объекты на складе, такие как стеллажи, контейнеры, коробки и люди, а также связи между ними.
Основной инновацией является применение алгоритмов, которые объединяют информацию о распознанных объектах на изображениях с камеры, соответствующих им картах глубин и специальных визуальных маркерах. Это позволяет роботу, используя всего одну встроенную камеру, создавать и обновлять трёхмерный граф окружающей сцены в реальном времени.
Для обучения и тестирования системы учёные разработали специальный набор данных, включающий сцены со складов и десятки сценариев с голосовыми командами, которые были вручную размечены. Эксперименты, проведённые как в виртуальной среде, так и с использованием реального робота, показали, что предложенный подход значительно превосходит традиционные системы, не использующие трёхмерные графы сцены.
«Предоставление планировщику возможности понимать окружающее пространство в виде графа 3D-сцены чрезвычайно важно, поскольку это позволяет в явном виде запомнить и отслеживать изменения в рабочей зоне робота и качественнее планировать его действия. Без полноценного понимания динамики пространственных связей между объектами большие языковые модели, на которых сегодня строятся системы планирования действий по голосовым командам, показывают низкую эффективность в складских условиях», – рассказал соавтор работы, заведующий лабораторией интеллектуального транспорта Центра когнитивного моделирования МФТИ Дмитрий Юдин.
Новая система отличается от традиционных методов тем, что не только распознаёт объекты, но и анализирует их пространственные связи. Работа выполнена при финансовой поддержке Министерства экономического развития Российской Федерации. Код и набор данных размещены в открытом доступе на GitHub. В будущем исследователи намерены адаптировать систему для использования на различных промышленных объектах.
Роботы на складах – это не только разработки учёных, но и реальная практика. Как рассказывала интернет-газета «ЖУК», каждый шестой склад Яндекс Лавки уже отдаёт заказы роботам-доставщикам – общее число таких дарксторов достигло 130.