Press "Enter" to skip to content

Разработка систем видения автомобилей с разнородными датчиками

Дроны, интеллектуальные машины и гарнитуры дополненной или виртуальной реальности (AR / VR) используют несколько датчиков изображения, часто разных типов, для сбора данных об их операционной среде. Для предоставления данных изображения, в которых нуждается система, каждому датчику требуется подключение к системному процессору приложений (AP), что создает проблемы проектирования для инженеров встраиваемых (embedded) систем.

Первая проблема заключается в том, что точки доступа имеют конечное количество портов ввода / вывода, доступных для подключения к датчикам, поэтому порты ввода / вывода должны быть аккуратно распределены, чтобы все дискретные компоненты, требующие подключения к точке доступа, имели хотя бы один порт. Во-вторых, AR / VR-гарнитуры имеют небольшой форм-фактор и используют батареи для питания. Поэтому компоненты, используемые в этих приложениях, должны быть как можно меньше и потреблять минимальное количество энергии.

Одним из решений проблемы нехватки портов ввода / вывода точки доступа является использование виртуальных каналов, как определено в спецификации MIPI Camera Serial Interface-2 (CSI-2). Они могут объединять до 16 различных потоков данных в один поток, который затем можно отправить на точку доступа только через один порт ввода-вывода.

Аппаратной платформой выбора для реализации виртуального канала является программируемая пользователем вентильная матрица (FPGA или ПЛИС). Альтернативные аппаратные платформы занимают много времени на разработку и могут не обладать низкой потребляемой мощностью, необходимой для таких приложений, как дроны или гарнитуры AR / VR. Некоторые утверждают, что FPGA занимают слишком много места и потребляют слишком много энергии, чтобы быть реальной платформой для поддержки виртуальных каналов. Но достижения в области проектирования и производства полупроводников позволяют создавать новое поколение более мелких и более энергоэффективных ПЛИС.

Прояснение ситуации

Растущий спрос потребителей на беспилотники, интеллектуальные машины и гарнитуры дополненной / виртуальной реальности стимулирует огромный рост рынка датчиков. Semico Research рассматривает автомобильные (27% CAGR), беспилотные (27% CAGR) и AR / VR-гарнитуры (166% CAGR) приложения в качестве основных создателей спроса на датчики, и прогнозирует, что OEM-производители полупроводников будут поставлять более 1,5 миллиарда датчиков в год к 2022 году.

Для приложений, упомянутых выше, требуется несколько датчиков для сбора данных об операционной среде приложения. Например, смарт автомобиль может использовать несколько датчиков изображения высокой четкости для камер заднего вида и объемного звука, датчик LiDAR для обнаружения объектов и радар для мониторинга слепых зон (рисунок ниже).

В современных интеллектуальных автомобилях датчики (радар / LiDAR, изображение, время езды и так далее) позволяют использовать такие приложения, как экстренное торможение, камеры заднего вида и предотвращение столкновений

Такое распространение датчиков представляет проблему, поскольку все они должны отправлять данные в точку доступа автомобиля, а точка доступа имеет конечное число доступных портов ввода / вывода. Дополнительные датчики также увеличивают плотность проводных подключений к точке доступа на плате устройства, что создает проблемы при проектировании в небольших устройствах, таких как гарнитуры.

Одним из решений проблемы нехватки портов ввода / вывода точки доступа является использование виртуальных каналов. Виртуальные каналы объединяют видеопотоки от разных датчиков в единый поток, который можно отправлять на точку доступа через один порт ввода-вывода. Популярным текущим стандартом для подключения датчиков камеры к точке доступа является спецификация MIPI Camera Serial Interface-2 (CSI-2), разработанная MIPI Alliance. CSI-2 может объединять до 16 различных потоков данных в один с помощью функции виртуального канала CSI-2. Однако объединение потоков из разных датчиков изображений в один видеопоток представляет несколько проблем.

Проблемы создания виртуальных каналов

Объединение данных от сенсоров одного типа в один канал не является сложной задачей. При одном подходе датчики могут быть синхронизированы, а их потоки данных объединены, так что они могут быть отправлены на точку доступа в виде одного изображения с удвоенной шириной. Проблема возникает из-за необходимости объединять потоки данных от различных сенсоров.

Например, беспилотник может использовать датчик изображения с высоким разрешением для обнаружения объекта во время работы в дневное время и ИК-сенсор с низким разрешением для захвата тепловых диаграмм для обнаружения объекта ночью. Эти сенсоры имеют разную частоту кадров, разрешение и ширину полосы, которые невозможно синхронизировать. Чтобы отслеживать различные видеопотоки, каждый пакет данных CSI-2 должен быть помечен идентификатором виртуального канала, чтобы точка доступа могла обрабатывать каждый пакет по мере необходимости (рисунок ниже).

Виртуальные каналы объединяют потоки данных от нескольких датчиков для сохранения портов ввода / вывода. Потоки данных от разных датчиков требуют обработки для синхронизации тактовых частот и выходных частот

В дополнение к маркировке пакетов объединение потоков данных от различных типов датчиков также требует синхронизации полезной нагрузки данных датчика. Если датчики работают на разных тактовых частотах, для каждого из них необходимо поддерживать отдельные тактовые домены. Эти домены затем синхронизируются перед выводом на AP.

Для обработки необходим выделенный аппаратный мост

Реализация мостового решения для поддержки виртуальных каналов в оборудовании может решить проблемы, описанные выше. Благодаря выделенному мосту виртуального канала все датчики изображения подключаются к порту ввода / вывода моста, так что мост может подключаться к точке доступа через один порт, освобождая ценные порты точки доступа для поддержки других периферийных устройств (рисунок ниже). Это также решает проблему проектирования, создаваемую путем отслеживания нескольких соединений между сенсорами и точкой доступа на плате устройства; мост объединяет эти многочисленные данные на пути к точке доступа.

Чтобы минимизировать порты ввода-вывода, используемые для подключения датчиков и точки доступа, аппаратный мост с поддержкой виртуального канала объединяет несколько потоков датчиков для доставки через один порт ввода-вывода.

ПЛИС позволяют реализовать параллельные пути данных для каждого входа датчика, причем каждый путь находится в своей собственной тактовой области. Эти домены синхронизируются на этапе слияния виртуальных каналов, как показано на рисунке выше, снимая нагрузку на обработку данных с точки доступа.

Преимущества оборудования виртуального канала на основе PLD

Когда дело доходит до реализации поддержки виртуального канала в аппаратном обеспечении, наиболее привлекательной платформой для интегральных схем (ИС) является ПЛИС. ПЛИС — это ИС с гибкими портами ввода / вывода, которые могут поддерживать широкий спектр интерфейсов. Они также имеют большие логические массивы, которые могут быть запрограммированы с помощью языков описания аппаратуры, таких как Verilog

В отличие от ASIC, для которых требуются длительные процессы проектирования и обеспечения качества (QA), FPGA уже прошли сертификацию QA для производства и могут быть разработаны за несколько дней или недель. Однако традиционные ПЛИС обычно рассматриваются как физически большие и энергозатратные устройства, которые не очень подходят для встроенных приложений с ограниченным энергопотреблением.

Однако этот сценарий работает с семейством FPGA CrossLink от Lattice Semiconductor. Семейство обеспечивает сочетание производительности, размера и энергопотребления, необходимое для приложений видеомоста, использующих виртуальные каналы. FPGA предлагают два 4-полосных приемопередатчика MIPI D-PHY, работающих со скоростью до 6 Гбит / с на физическом уровне и форм-фактором всего 6 мм2. Они поддерживают до 15 программируемых источников синхронных дифференциальных входов / выходов, таких как MIPI-D-PHY, LVDS, sub-LVDS и даже односторонние параллельные CMOS, но во многих приложениях потребляют менее 100 мВт. Спящий режим поддерживается для снижения энергопотребления в режиме ожидания. Lattice также имеет расширенную программную IP-библиотеку, которая помогает ускорить внедрение различных мостовых решений.

Итоги

Виртуальные каналы, поддерживаемые спецификацией MIPI Camera Serial Interface-2 (CSI-2), помогают инженерам встроенных систем консолидировать потоки данных нескольких датчиков через один порт ввода-вывода, снижая общую площадь конструкции и энергопотребление для приложений, использующих большое количество датчиков изображений. Благодаря своей возможности перепрограммирования, производительности и размеру, маломощные ПЛИС позволяют клиентам быстро и легко добавлять поддержку виртуальных каналов в свои устройства.

Оставьте комментарий

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *