Ученые Самарского университета им. Королёва разработали программный комплекс навигации с искусственным интеллектом и системой стереозрения для беспилотных летательных аппаратов (БПЛА). Система под названием «Навигатор» позволяет беспилотникам в автономном режиме, без участия человека, следовать по заданным маршрутам, обходить запретные для полета зоны и самостоятельно реагировать на внезапно возникающие впереди препятствия.
Облетать беспилотники могут, в том числе, другие дроны или летящих навстречу птиц. Помимо этого нейросеть анализирует изображение с видеокамеры место предполагаемой посадки и определяет, нет ли там мешающих беспилотнику объектов (машин, людей, опасных предметов) и достаточно ли там подходящий для приземления рельеф местности. Соответственно, это делает приземление значительно более безопасным.
«Система «Навигатор» – это программная платформа обеспечения безопасности навигации беспилотных авиасистем с применением искусственного интеллекта и технического зрения. Она решает сразу несколько важных задач. Во-первых, это сегментация зон полетов, разделение пространства на транспортные коридоры, выделение запретных для полетов зон. То есть, например, аграрные дроны с «Навигатором» на борту «понимают», что вот эти участки посевов на поле нужно поливать, обрабатывать, а вот эти – нет. Кроме того, программа не позволяет беспилотникам случайно вылететь за пределы обрабатываемого поля, что иногда с агродронами случается. Также реализовано обнаружение подвижных и неподвижных препятствий и уклонение от столкновений с ними. «Навигатор» может спланировать полеты сразу нескольких беспилотников в единой полетной зоне, чтобы они друг другу при этом не мешали, и обеспечить безопасность при срочной посадке в незапланированном месте, то есть система по картинке с видеокамеры определяет, что в зоне посадки нет людей, животных, автомобилей и так далее», – рассказал профессор Артем Никоноров, директор Института искусственного интеллекта и руководитель Центра «Интеллектуальная мобильность многофункциональных беспилотных авиационных систем» Самарского университета им. Королёва.
Одной из интересных особенностей «Навигатора» стало его «стереозрение» – возможность работы программного комплекса с видеопотоками, одновременно получаемыми с двух видеокамер, разнесенных на некоторое расстояние друг от друга, как глаза у живых существ. Обычно беспилотники довольствуются монозрением, даже если камер на борту несколько: например, одна смотрит вперед, другая – вниз, а третья – назад. Монозрение – это как если вы смотрите только одним глазом.
«Мы попробовали использовать стереокамеру для того, чтобы «Навигатор» не только видел объекты, но и мог достаточно точно определять расстояние до них. Стереозрение позволяет на расстоянии нескольких десятков метров с точностью до сантиметра определять точное расстояние до объекта, это нужно, чтобы понимать, насколько опасно близко дрон к этому объекту находится. Также с помощью стереозрения можно лучше определять рельеф в зоне экстренной посадки, когда нужно выбрать максимально пологую поверхность, стереокамера для этого очень хорошо подходит», – подчеркнул Артем Никоноров.
Работает «Навигатор» на одноплатном микрокомпьютере Jetson Nano: большой мощный компьютер на БПЛА не поставишь. По словам разработчиков, им удалось подобрать наилучшее компромиссное решение по качеству и скорости работы алгоритмов технического зрения при минимальном энергопотреблении системы.
«Навигатор» может обеспечить безопасную совместную работу сразу нескольких «смартдронов» в пределах одного заданного участка территории. То есть в полях может работать сразу несколько агродронов, не мешая друг другу. Для этого перед полетом оператор обозначает рабочие и запрещенные зоны, с какой интенсивностью нужно опрыскивать те или иные участки поля, на выходе получается готовый маршрут, по которому дрон летит в автоматическом режиме, система всё сделает сама.
Еще одна польза от «Навигатора» – он помогает дрону ориентироваться, если вдруг потерян сигнал GPS. «Навигатор» заранее сегментирует, разбивает изображение обрабатываемого поля на множество фрагментов, и нейросеть затем может сравнить текущее изображение с камеры с этими фрагментами, чтобы определить местонахождение.
«Решить эту задачу исключительно с помощью камеры, которая смотрит вниз, достаточно сложно, потому что сельскохозяйственные поля на большом протяжении могут выглядеть совершенно одинаково. Однако практически у всех полей за их пределами есть какие-то внешние ориентиры: какая-нибудь лесополоса, дорога, линия электропередачи. Таким образом, можно определить и предотвратить возможный вылет дрона за пределы обрабатываемого поля. По кусочку изображения с камеры система ищет это место на большом плане, который ранее был просегментирован и загружен в систему, и в результате дрон может «понять», где он находится. Точность позиционирования при таком способе может достигать около 1 м», – отметил Артем Никоноров.
Модуль технического зрения «Навигатора» сейчас проходит тестирование. По словам разработчиков, система в перспективе будет дополняться и другими полезными программными модулями, отвечающими за различные направления будущей отечественной экосистемы безопасности беспилотных авиасистем.
Нейросетевая навигационная система создана по заказу индустриального партнера университета – компании «Транспорт будущего», занимающейся разработкой и производством беспилотных авиасистем. На разработку получено свидетельство о регистрации программы для ЭВМ в Роспатенте.