Команда российских ученых разработала систему навигации для роботов, которая позволяет им ориентироваться в незнакомых жилых и рабочих помещениях, классифицировать окружающие их предметы обстановки и определять назначение комнат. Эта задача одна из самых актуальных в робототехнике, так как ее решение позволит создать целый класс устройств, способных перемещаться по дому или офису и выполнять команды человека. Устройство выиграло международные соревнования по ориентации для искусственного интеллекта. По словам экспертов, достигнутый результат можно назвать серьезным успехом, однако до практического применения системы предстоит решить множество проблем и добиться соответствия протоколам безопасности.
Определиться в пространстве
Специалисты Московского физико-технического института (МФТИ) разработали систему навигации в жилых и офисных помещениях для роботов-помощников, которая позволяет им самостоятельно ориентироваться в незнакомой обстановке. Эта задача сегодня остается одной из самых актуальных в робототехнике, так как ее решение позволит создать целый класс устройств, способных перемещаться по дому и выполнять речевые команды человека. Например, это необходимо для выполнения устройством даже такой простейшей просьбы, как «поставь стакан на стол». Робот должен понять, о каком объекте обстановки идет речь, где он находится и как до него добраться.
Сотрудники вуза с этой разработкой стали победителями престижного конкурса Habitat ObjectNav Challenge 2023, участники которого соревновались в умении своих роботов найти объект определенного типа (например, холодильник), доехать до него и остановиться рядом. Сделать это искусственный интеллект должен был, используя только видеокамеру, датчик GPS и компас.
— Для решения этой задачи робот должен с высокой точностью определять свое местоположение, и при этом он должен понимать семантический тип объектов. То есть, чтобы он мог подъехать к стулу, он должен понять, что это такое, и отличить его от дивана, — рассказал один из авторов разработки, аспирант МФТИ Алексей Староверов.
С этой целью разработчики использовали как технологию нейронных сетей, так и более классические программные подходы. В каждом конкретном случае робот сам определяет предпочтительный метод поиска решений.
За распознавание окружающих предметов больше отвечает нейросеть, которая прошла обучение на обширном наборе данных. Она способна определять около 150 типов объектов. Необходимый для работы достаточно мощный компьютер принимает картинку с видеокамеры и распределяет все типы предметов в помещении по разным цветам. Например, все столы ИИ красит в красный цвет, а стулья — в синий.
Еще один ключевой для работы навык — умение быстро исследовать помещение. За него также отвечает нейросеть, которая прошла обучение на более чем 1 тыс. изображений. Робот не знает заранее, в какой комнате он оказался. Например, кухня это или спальня. Чтобы это понять, он строит семантическую карту локации, включающую все окружающие объекты. Из нее он может сделать вывод о назначении данного пространства. Благодаря такому пониманию если машине нужен письменный стол, то она максимально быстро покинет кухню и отправится за ним в кабинет.
— В случае если наш робот столкнется с новым типом предметов, с которым он никогда не имел дела, то с первого раза у него может получиться плохо его распознать, но с каждым следующим разом он будет всё лучше и лучше с ним взаимодействовать, — сказал Алексей Староверов.
При желании систему навигации, позволяющую машине работать в пределах одного здания, можно установить практически на любого робота. Однако в первую очередь разработчики ориентировались на небольшие устройства, обладающие хотя бы простейшим манипулятором.
Не для всех
Для установки системы робот должен иметь определенные параметры, которые могли бы обрабатывать входящие данные с видеокамеры. А для этого нужна высокая мощность, подчеркнул глава компании Alpha Robotics Venture Владимир Белый.
— Для работы в каком-то жилом помещении можно обучить системы узнавать предметы мебели, технику и даже домашних животных. Но как только робот попадает в другое пространство, где совсем другие параметры и они при этом динамические, то сразу возникают проблемы. Возможно, в таких условиях это ПО работать не будет, потому что нейросеть этому не обучена и не понимает, как взаимодействовать с такими предметами, — полагает эксперт.
По его мнению, предложенная система подходит для соревнований, но не для реальной жизни. Нужно повторить много циклов применения, чтобы понять, работает она или нет. После этого можно говорить уже о практическом использовании на реальной робототехнике, уверен он.
Можно сказать, что технология, предложенная командой МФТИ, очень эффективна, так как она показала весьма хорошие результаты на многоуровневых соревнованиях. Разработчикам удалось скомбинировать два подхода. Один — использование классических методов локализации и картирования для навигации роботов, а второй — когда нейронная сеть сама определяет, куда и как ей двигаться, исходя из своих собственных представлений, отметил директор Центра искусственного интеллекта НИТУ МИСИС Илья Макаров.
— Однако для того, чтобы использовать разработку на практике, предстоит пройти проверку на соответствие протоколам безопасности. Пока не существует такого соревнования, пройдя которое робот сможет успешно работать на вашей кухни, не наступит вам на ногу и не сделает другое потенциально опасное действие, — сказал Илья Макаров.
Это очень большой шаг в научной составляющей, но для внедрения в практику нужно больше экспериментов и сбора данных из реальной жизни, заключил специалист.