Совместная работа по разработке умных камер для приложений ADAS

Чтобы избежать опасностей в густонаселенных городских районах, внедрение усовершенствованной системы помощи водителю (ADAS) требует высокоточного распознавания объектов, способного обнаруживать так называемых «уязвимых» участников дорожного движения (VRU), таких как пешеходы и велосипедисты. В то же время, для массового рынка автомобилей среднего и начального уровня автоматизации эти системы должны потреблять мало энергии. Говорят, что новое решение для распознавания объектов на основе глубокого обучения для интеллектуальных камер от Renesas и StradVision позволяет достичь обоих целей и призвано ускорить широкое распространение приложений ADAS на уровне 2 и выше.

Программное обеспечение для распознавания объектов на основе глубокого обучения StradVision, разработанное для распознавания транспортных средств, пешеходов и разметки полос движения, было оптимизировано для продуктов R-Car V3H и R-Car V3M компании Renesas R-Car. R-Car V3H выполняет одновременное распознавание транспортных средств, людей и полос движения. Он может обрабатывать данные изображения со скоростью 25 кадров / с. R-Car V3M — это SoC с двумя 800-МГц процессорами Arm Cortex-A53 MPCore, предназначенными в основном для фронтальных камер, а также для систем объемного обзора или LiDAR.

Поскольку передние камеры установлены рядом с лобовым стеклом, следует учитывать повышение температуры, вызванное теплом, генерируемым самими компонентами, а также прямым солнечным светом. Таким образом, требования к низкому энергопотреблению являются особенно строгими.

Устройства R-Car включают в себя специальный механизм для углубленной обработки, называемый CNN-IP (интеллектуальная собственность нейронной сети Convolution). Это позволяет им запускать автомобильную сеть глубокого обучения SVNet StradVision на высокой скорости с низким энергопотреблением.

CNN используются в различных областях, включая распознавание изображений и образов, распознавание речи, обработку на естественном языке и анализ видео. От смартфонов до умных часов, от ADAS до игровых консолей виртуальной реальности и управления беспилотными летательными аппаратами расширяются области применения, основанные на изображениях с высоким разрешением (1080p, 4K и выше).

В дополнение к специализированному модулю глубокого обучения CNN-IP, Renesas R-Car V3H и R-Car V3M оснащены модулем распознавания изображений IMP-X5. Кроме того, внутрипроцессорный процессор сигналов изображений (ISP) предназначен для преобразования сигналов датчиков для обработки изображений и обработки распознавания. Это позволяет конфигурировать систему с использованием недорогих камер без встроенных интернет-провайдеров, что снижает общую стоимость спецификации (BOM).

Программное обеспечение глубокого обучения SVNet от StradVision — это решение для искусственного интеллекта, созданное для обеспечения высокой точности распознавания в условиях слабого освещения и способности справляться с окклюзией, когда объекты частично скрыты другими объектами. Он также предназначен для правильной работы даже при плохом освещении или погодных условиях.

Базовый пакет программного обеспечения для платформы R-Car V3H выполняет одновременное распознавание транспортного средства, человека и полосы движения, обрабатывая данные изображения со скоростью 25 кадров / с, обеспечивая быструю оценку и разработку концепции дальнейших действий.

Используя эти возможности в качестве основы, если разработчики хотят настроить программное обеспечение с добавлением знаков, маркировок и других объектов в качестве целей распознавания, StradVision заявляет, что обеспечит данную поддержку для распознавания объектов на основе глубокого обучения. Такая поддержка будет охватывать все этапы от обучения до внедрения программного обеспечения для серийных автомобилей.

Помимо портирования на Renesas V3H и V3M, программное обеспечение StradVision является первым алгоритмом, основанным на глубоком обучении, который когда-либо был перенесен на TDA2x TI.

«StradVision с радостью объединяет усилия с Renesas, чтобы помочь разработчикам эффективно продвигать усилия по разработке систем ADAS», — сказал Юнхван Ким, генеральный директор StradVision. «Совместные усилия не только приведут к быстрой и эффективной оценке, но и значительно улучшат производительность ADAS. Благодаря огромному росту, который ожидается на рынке фронтальных камер в ближайшие годы, это сотрудничество дает StradVision и Renesas отличные возможности для предоставления наилучших технологий».

К 2021 году StradVision будет иметь около 7 миллионов транспортных средств на дорогах мира с использованием программного обеспечения SVNet, которое соответствует стандартам, таким как Euro NCAP и Guobiao (GB) в Китае. StradVision уже начал запуск  автомобилей ADAS на дорогах Китая.

Кроме того, StradVision объявила о партнерстве с ведущим (но неназванным) глобальным поставщиком Tier 1 для разработки технологии камер для автономных автомобилей. Проект будет сотрудничать с программным обеспечением SVNet StradVision с платформой чипсетов Nvidia XAVIER и сосредоточится на трех ключевых областях: обнаружение объектов (OD), распознавание дорожных знаков (TSR) и распознавание показаний светофоров (TLR).

Эти три элемента будут играть ключевую роль, позволяя транспортным средствам, использующим технологию, разработанную в рамках этого партнерства, точно ориентироваться на дорогах в режиме автономного вождения.

Платформы SoC Renesas R-Car с новым совместным решением для глубокого обучения, включая поддержку программного обеспечения и разработки от StradVision, должны быть доступны для разработчиков к началу 2020 года.