Смотреть в оба

Системы машинного зрения – одно из наиболее актуальных направлений исследований в области автономных транспортных систем (автомобильных и железнодорожных). О том, как работает машинное зрение и чем оно отличается от человеческого, «Пульту управления» рассказал руководитель Центра систем управления и обеспечения безопасности движения АО «НИИАС» Павел Попов.

– Что понимается под машинным зрением? Как работает эта технология и каким образом она устроена?
– Существует ряд определений, в нашем понимании машинное зрение представляет собой набор сенсоров, вычислителей и алгоритмов для решения прикладной задачи по определению препятствий и других задач, выполняемых машинистом с помощью зрения.

– Верно ли сказать, что речь идёт об обработке видеоизображения алгоритмами искусственного интеллекта, «обученными» выдавать команды в ответ на обнаружение различных объектов?
– Не совсем правильно. Во-первых, обрабатываются данные не только с видеокамер, но и с лидаров (устройств для получения и обработки информации об объектах с помощью сканирующих лазеров. – Ред.). Кроме того, возможно использование радаров и ультразвуковых датчиков. Всё это сенсоры машинного зрения. Обработка входных данных этих сенсоров осуществляется как минимум двумя способами – на основе нейронных сетей и с помощью классических алгоритмов компьютерного зрения. Затем результаты объединяются и высчитываются вероятности существования тех или иных объектов на обрабатываемом изображении и вероятности столкновения их с подвижным составом. В бортовой компьютер циклически передаётся расстояние до обнаруженного препятствия вдоль пути. На основе этих данных бортовым компьютером осуществляется расчёт кривой торможения для остановки перед препятствием.

– Разработкой технологии машинного зрения занимаются многие компании в мире – «Яндекс», Uber, Google. Их технологии подходят для железной дороги?
– Сами технологии машинного зрения для автомобилей и поездов похожи и требуют почти одинаковых компетенций. Основным отличием является дальность работы машинного зрения.
Для автомобилей максимальное расстояние для обнаружения препятствий обычно ограничивается 60–120 м, для железной дороги требуется дальность действия до 1000 м и более.
Для автомобилей требуется обнаруживать дорожную разметку, для поездов – железнодорожные пути, стрелки и другие инфраструктурные объекты.
Сильно отличаются и объекты, обнаруживаемые автомобилями и поездами. Отличаются их количество, динамика и, соответственно, модели, описывающие эту динамику. Основными препятствиями для поезда могут быть люди, животные, машины на переезде и статичные препятствия. Большая часть движения поезда происходит при отсутствии препятствий. В автомобилях ситуация совершенно другая: там идёт непрерывное взаимодействие с другими разнонаправленно движущимися объектами – автомобилями, мотоциклами, пешеходами.

– Какие технические задачи стоят перед разработчиками технологии машинного зрения?
– Во-первых, это разработка и совершенствование сенсоров машинного зрения. Мы решаем данную задачу совместно с предприятиями госкорпорации «Ростех».
Сейчас идёт тестирование SWIR (коротковолновых инфракрасных. – Ред.) камер российской компании «Орион», которая изготавливает цифровую матрицу. Также обсуждаются вопросы создания отечественных тепловизоров и лидаров.
Во-вторых, это улучшение и разработка новых алгоритмов машинного зрения. Это громадный пласт работ, где сосредоточены основные усилия. Только описание количества различных решений, которые мы разрабатываем и проверяем, займёт несколько страниц.

– Речь идёт об алгоритмах распознавания изображения и принятия тех или иных решений?
– Не только об алгоритмах распознавания, но и алгоритмах слежения (предсказания траектории перемещения обнаруженных объектов), алгоритмах комплексирования данных от разных источников, алгоритмах объединения с электронной картой, алгоритмах построения стереозрения, алгоритмах оптимизации вычислительных ресурсов, алгоритмах по одометрии на основе визуальных сенсоров и других.
И, конечно, важным вопросом является разработка такого технического решения по машинному зрению, безопасность которого можно доказать.
Необходимо доказать, что вероятность опасного отказа системы, управляемой с помощью машинного зрения, меньше заданной вероятности. То есть необходимо предусмотреть отказ одного или нескольких сенсоров, отказ управляющего компьютера. Это требует построения мажоритарной системы с резервированием наиболее ответственных блоков. Проблемой также является отсутствие данных по вероятностям отказа сенсоров и другого оборудования.

– Сейчас проводятся испытания беспилотного управления поездами «Ласточка». Каким образом технология машинного зрения используется в рамках этого проекта?
– В рамках этого проекта создан центр дистанционного контроля и управления, где находится рабочее место машиниста-оператора. Его основная задача – принимать решения при возникновении нештатных ситуаций. К примеру, таких, как общение с пассажирами в вагоне или действия при обнаружении препятствий – животных или человека – на пути.
При необходимости машинист-оператор может перевести поезд из автоматического режима в режим дистанционного управления и непосредственно управлять им. Планируется, что один машинист-оператор сможет контролировать до 10 поездов, а по мере совершенствования технологии (когда бортовые системы смогут обрабатывать всё больше и больше ситуаций самостоятельно) – и большего количества. Машинное зрение позволяет машинисту отсутствовать в кабине, а если он находится в кабине, помогает ему в обнаружении посторонних объектов, мешающих движению.

– Какого уровня развития машинное зрение достигло сейчас? Способны ли компьютерные системы управления подвижным составом принимать решения на основе информации, предоставляемой машинным зрением?
– Компьютерные системы способны принимать решения на основе машинного зрения уже сейчас. Главный вопрос – это баланс между безопасностью и эксплуатационными характеристиками. Должна ли система тормозить, если впереди через рельсы перебегает человек и теоретически он должен успеть? Должна ли она учитывать, что человек может поскользнуться или просто замедлить движение? Что необходимо делать в случае наличия на рельсах снеговика, то есть антропоморфного, но искусственного и безопасного объекта?
Имеющаяся сейчас система в таких случаях будет автоматически применять торможение и сразу же оповещать машиниста-оператора с передачей ему видеоинформации о препятствии. Однако данные торможения негативно скажутся на выполнении графика движения. Поэтому на текущем этапе система машинного зрения запущена на «Ласточке» параллельно, без подключения к органам управления. В случае обнаружения препятствия машинное зрение записывает сигнал на торможение в архив. Каждая поездка затем анализируется, проверяется реакция машиниста в момент срабатывания системы машинного зрения и проводится корректировка алгоритмов и программного обеспечения.

– Какова дальность зрения имеющихся в настоящее время систем – сотни, тысячи метров?
– Дальность зрения определяется оптикой и зависит от фокусного расстояния объектива, а также от условий видимости.
Однако чем больше дальность, тем меньше угол обзора камеры и больше мёртвая зона на ближней дистанции. Наибольшая дальность видимого горизонта в идеальных условиях – около 5 км. Но человек способен различать объекты и на гораздо большем расстоянии. Мы же видим свет звёзд, а он приходит с гораздо больших дистанций. Искусственные системы способны видеть примерно на тех же расстояниях.
Для работы при плохих погодных условиях применяются инфракрасные SWIR-камеры, работающие в ближнем инфракрасном диапазоне 0,9–1,7 мкм. В данном спектре достигаются более высокие уровни природных контрастов. Наблюдается в 5–7 раз большая величина естественной освещённости, чем свет от звёзд, лучшее пропускание атмосферы.
ИК-камеры предназначены для работы в сложных погодных условиях, а также при въезде и выезде из тоннеля при засветке части оптических камер.

– Насколько возможности современных технологий машинного зрения сопоставимы с возможностями зрения человека?
– Современные сенсоры позволяют видеть в значительно более широком диапазоне, чем человек, что, несомненно, является преимуществом. Однако для полноты картины необходимо оценить процессы обработки сигналов и реакции на события. Это даст возможность понять, способны ли сейчас технические системы заменить человека в области управления автомобильным или железнодорожным транспортом.
Уже довольно давно учёным удалось определить, что, например, человеку потребуется 600 миллисекунд (мс) для того, чтобы среагировать на ожидаемое событие, и 850 мс – на внезапное. Обычному водителю необходимо 0,96 секунды для сброса газа, 2,2 секунды для максимального нажатия на педаль тормоза и 1,64 секунды для начала манёвра уклонения от столкновения. Минимальное время восприятия человеком объектов и сцен составляет 100–150 мс.
Для передачи информации любой степени сложности из органов чувств (сенсорной) в мозг используется различная частота импульсов. Зрительная кора головного мозга может обрабатывать видеопоток на частоте 27 Гц. Датчики, установленные на автономном транспорте, работают с частотой 10 Гц.
Мозг человека обеспечивает сбор информации из зрительной коры, генерируя петли обратной связи, которые делают каждый последующий шаг обработки информации более эффективным. Затем он создаёт контекст, направляющий глаза на поиск и фокусирование на определённых объектах в целях их идентификации и определения их приоритета, а также отслеживания и игнорирования при этом других объектов.
Такая расстановка приоритетов обеспечивает эффективность и увеличивает временную и пространственную выборку, не только повышая уровень интеллектуального сканирования, но и усовершенствуя его. У взрослого человека в коре головного мозга более 150 млрд синапсов. Эта система на много порядков сложнее, чем любые искусственные нейронные сети.
Как показали исследования, время реакции автономной системы вождения зависит от двух факторов: частоты кадров, которая влияет на то, насколько быстро данные датчика можно передать в обработчик, и задержки обработки распознавания сцен и принятия оперативных решений, что определяет скорость реагирования системы на захваченные сенсорные данные.
В дополнение к задержке обработки системы автономного вождения должны часто обновлять своё «понимание» и в реальном режиме времени отслеживать непрерывно меняющееся состояние подвижных и неподвижных объектов инфраструктуры. Другими словами, скорость кадров должна увеличиваться в случае резкого изменения условий движения между двумя соседними моментами времени. При постоянно изменяющихся условиях движения система должна быть способна воспринимать окружающую обстановку и обрабатывать данные с датчиков оперативнее человека, то есть быстрее, чем за 100 мс.

Беседовал Лев Кадик