Стереокамеру для съёмки пчёл пришлось проектировать вокруг latency USB и момента экспозиции

Положение летящей пчелы для роботизированной камеры определяется временем экспозиции и временем доставки двух кадров в вычислитель. Jeremy Fielding строит синхронную стереопару с global shutter, поскольку построчная съёмка вносит временную геометрию в контуры насекомого. Следующий узел системы — измерить задержку от света на матрице до команды приводам платформы.

Jeremy Fielding продолжает проект Engineer Vs Bee: роботизированная камера должна автоматически удерживать в кадре летящую пчелу. Механическая платформа уже способна перемещать камеру с требуемой скоростью, однако наведение потребовало отдельного измерительного тракта. Для оценки трёхмерного положения цели выбрана стереокамера из двух синхронизированных модулей с global-shutter сенсорами.

Где рождается задержка

В такой задаче изображение является отсчётом состояния объекта в конкретный момент времени. Пчела меняет координаты, дальность и ориентацию за время, сопоставимое с задержками захвата, передачи и обработки. Контроллер, получивший кадр после прохождения USB-тракта, управляет приводами по уже прошедшему состоянию цели. Рост задержки уменьшает запас устойчивости сервосистемы и требует прогнозировать движение насекомого.

Почему global shutter здесь обязателен

Global shutter фиксирует все пиксели одного кадра в общем временном окне. Rolling shutter считывает строки последовательно, поэтому верхняя и нижняя части быстро движущегося объекта соответствуют разным моментам. Для одиночной камеры это проявляется наклоном и деформацией контура. В стереозрении добавляется риск несогласованности между парой изображений: триангуляция опирается на соответствующие точки в левом и правом кадрах, а смещение цели между экспозициями меняет их параллакс.

Сам global shutter задачу межкамерной синхронизации не закрывает. Двум сенсорам нужен общий запуск экспозиции либо проверенная аппаратная схема синхронизации; иначе задержка USB может быть стабильной, а временной сдвиг кадров останется в исходных измерениях. Полезно отдельно измерять интервал между trigger и началом экспозиции для каждого модуля, длительность экспозиции, время появления кадра на хосте и полный путь до команды мотору. Именно сумма этих интервалов определяет, насколько далеко пчела успеет уйти от рассчитанной координаты.

Разрешение против скорости

Выбор камеры превращается в связку компромиссов. Большее разрешение даёт больше пикселей на цели и повышает точность локализации, но увеличивает объём двух потоков и время передачи. Высокая частота кадров сокращает интервал между обновлениями координат, однако ограничивает экспозицию и световой бюджет. Длиннофокусная оптика повышает угловое разрешение, одновременно сужая поле зрения: пчелу легче измерить после захвата, но сложнее удержать при резком манёвре. Геометрия базы стереопары также влияет на чувствительность оценки глубины и рабочую зону системы.

Численные параметры камеры, USB-задержки, базы и ошибки трёхмерных координат пока не опубликованы. В доступном материале также нет законченной демонстрации автоматического сопровождения пчёл. Проект находится на стадии подбора оптики, сенсоров и временной архитектуры, где момент измерения каждого кадра становится параметром управления наряду с разрешением и частотой съёмки.