Видеопередача «Лазаря»: как кадры доходит до оператора
Продолжаем разбирать тяжёлый борт Лазарь, который попал к нам на восстановление. До этого мы запустили полётный контроллер, моторы, восстановили компас и gps. Осталась самая запутанная часть - видео. Как камера связана с бортовым компьютером, чем кадр обрабатывается в полёте и каким образом он вообще оказывается перед глазами оператора за сотни километров?
На борту машины стоит обычная дешёвая USB-камера в печатном корпусе и на подвесе Tarot. Подключена она к бортовому компьютеру Raspberry Pi 5 USB-проводом, разрешение потока всего 720 на 480 точек. Камера отдаёт поток в Pi 5, и на борту его встречает питоновский скрипт поверх GStreamer. Внутри конвейера кадр проходит три стадии. Сначала его разворачивают на 180 градусов. Потом впечатывают прямо в картинку OSD прицел и телеметрию, и готовую картинку разделяют на два пути.
Первый путь кодирует кадр кодеком VP8 и отдаёт в WebRTC. Оттуда поток уходит через локальный веб-сервер в браузер наземного оператора. На этом борте стоит Starlink, и вся связь с землёй идёт через спутниковый канал внутрь приватной VPN-сети, где прописаны все борта флота и наземные компьютеры. Оператор сидит в той же сети в любой точке планеты, открывает страницу борта и получает видео.
Второй путь кодирует кадр H264 и пишет на SD-карту, если запись включена!
Одновременно к USB-камере, что показывает картинку оператору, подключался отдельный софт компьютерного зрения, который имел дополнительные задачи. Во-первых, optical flow - по смещению картинки между кадрами борт вычисляет собственную скорость и снос. Работает когда камера смотрит вниз, софт измеряет, на сколько пикселей уползла текстура земли, делит на высоту и получает метры в секунду без всякого GPS.
Во-вторых, захват цели - на некоторых исполнениях Лазаря стоят нейросетевые модели, детектор объектов и трекер, который держит выбранную цель в кадре и не отпускает. Ресурсов одного Pi для такой математики впритык, поэтому использовался отдельный USB-ускоритель нейросети. Работает так - детектор нашёл объект, трекер его схватил, дальше борт способен вести цель сам. Одна камера одновременно даёт картинку человеку, скорость автопилоту и цель нейросети.
В образе накопителя, свежих записей не было вообще. Но на карте лежали тестовые записи наземных проверок, которые операторы стёрли перед вылетами. Их куски оказались разобраны, но сами кадры уцелели - человеческие ноги крупным планом в тепловизоре. На OSD - борт разряжен, GPS не ловит, в кадре тестовая надпись координат из Лимы, столицы Перу. Вероятно проверяли модуль подмены координат для работы Starlink в движении.
Эти кадры дают представление как выглядит экран оператора. Поверх картинки рисуется прицел: зелёный крест с рисками и квадратом в центре. Прицел не висит постоянно. Он появляется, только когда подвес наклонён вниз, а при подъёме камеры вверх становится полупрозрачным. Пока оператор осматривается, крест не мешает обзору, а при наведении на цель становится ярким ориентиром. Слева сверху высота и поправки регулятора, справа сверху индикатор записи, курс и скорость, по центру статус моторов и режима полёта, режимы подсвечиваются цветом. Снизу по центру таймер полёта, дата, время и батарея с током. А в левом нижнем углу число спутников, статус фиксации GPS и текущие координаты борта.
Теперь вопрос для тех, у кого на руках похожий борт с USB-камерой и бортовым компьютером на Raspberry, и для нас самих - как заставить родную камеру работать дальше.
Первый, самый короткий путь: использовать их же скрипт. Полный код видеоконвейера сохранился целиком, это готовое решение под Pi - камера, прицел, OSD, веб-выдача.
Второй путь: Rpanion. Это открытый проект для бортовых компьютеров, который делает почти то же самое, что и их скрипт: забирает видео с USB-камеры, отдаёт его в браузер по WebRTC или в пульт, плюс маршрутизирует телеметрию полётника.
Третий путь: если родная камера не пошла или нужен быстрый результат, камеру меняют, а видео заводят в юнит управления по Ethernet.
Кто уже делал делимся успехами в коментариях!