В Университете Иннополис запатентовали нейросетевую систему управления беспилотниками
В Университете Иннополис запатентован новый метод управления автономным транспортом, который решает одну из ключевых проблем отрасли - сложность и фрагментарность обработки данных от различных датчиков. В традиционных системах информация с камер, лидаров и других сенсоров анализируется раздельно, после чего инженерам приходится вручную настраивать цепочки алгоритмов принятия решений. Это повышает вероятность ошибок и ограничивает устойчивость беспилотников в сложных дорожных и погодных условиях.
Предложенный российскими исследователями подход основан на принципе сквозного обучения. Нейросеть получает на вход необработанные пиксели изображений с камер и облака точек лидара и сразу формирует управляющие команды: продолжить движение, объехать препятствие, повернуть или остановиться. Таким образом, система минует промежуточные этапы ручной интерпретации данных, снижая влияние человеческого фактора.
В основе изобретения лежит архитектура TransFuser, которая по своей логике имитирует процесс принятия решений человеком за рулём. Она состоит из двух ключевых компонентов - сети синтеза и сети прогнозирования. Первая отвечает за восприятие окружающей среды. В ней используются две параллельные ветви: одна анализирует изображения с камер при помощи свёрточных кодировщиков, выделяя визуальные признаки и мелкие детали сцены, вторая обрабатывает данные лидара в виде «вида сверху», формируя точное трёхмерное представление пространства.
Центральную роль в архитектуре играет трансформерный модуль. Он объединяет данные из обеих ветвей и оценивает значимость каждого элемента относительно других. Например, система способна сопоставить изображение светофора с его положением в 3D-пространстве и определить, насколько эта информация критична для текущего манёвра автомобиля.
После этого в работу вступает сеть прогнозирования пути. Она использует обогащённые признаки, полученные от трансформера, и рассчитывает оптимальную траекторию движения беспилотника на несколько шагов вперёд. Сформированные параметры передаются на стандартные пропорционально-интегрально-дифференцирующие регуляторы, которые уже напрямую управляют рулевым механизмом, ускорением и торможением.
Распознанные объекты, с помощью разработанной модели, в момент тестирования на беспилотном судне
Как пояснил старший научный сотрудник Лаборатории инновационных технологий обработки видеоконтента Бадер Рашид, для повышения надёжности и способности модели к обобщению исследователи дополнили процесс обучения четырьмя вспомогательными задачами. Среди них - оценка глубины по двумерным изображениям, семантическая сегментация сцены, построение детализированной HD-карты дороги и детекция трёхмерных объектов с помощью ограничивающих параллелепипедов. Это позволило системе сформировать более целостное и устойчивое представление об окружающей среде.
Эффективность архитектуры была подтверждена в нескольких средах. Первичное обучение и тестирование проводились в реалистичном симуляторе городского движения CARLA. Для проверки работы с реальными данными команда использовала международный эталон - открытый набор KITTI Vision, содержащий синхронизированные записи с камер и лидаров, собранные на реальном автомобиле.
Отдельного внимания заслуживает универсальность подхода. Ассистент Лаборатории интеллектуальных робототехнических систем Мостафа Хегази отметил, что метод удалось адаптировать и для других типов автономных платформ. В частности, модель была успешно перенесена и протестирована на данных с беспилотных судов, что демонстрирует её применимость в различных средах передвижения.
Патентование разработки осуществили специалисты Межотраслевого центра трансфера технологий Университета Иннополис. Патент действует на территории государств - участников Евразийской патентной конвенции, включая Россию, Беларусь, Казахстан, Армению, Азербайджан, Кыргызстан, Таджикистан и Туркменистан.
