Не специализированные вычисления на графических процессорах (GPGPU) могут значительно ускорить процессы машинного обучения

Поддержка NVIDIA машинного обучения с использованием GPGPU очень обширна. Ее новейший графический процессор Turing на базе архитектуры Turing RTX 8000 объединяет поддержку трассировки лучей с ускорением машинного обучения (ML). Архитектура Тьюринга включает в себя тензорные ядра для ускорения приложений машинного обучения.

NVIDIA T4 Tensor Core GPU, построенный на архитектуре Тьюринга с поддержкой Tensor Core, нацелен на гипермасштабное развертывание, где требуются высокая производительность (рисунок ниже). Для работы платы PCI Express (PCIe) требуется всего 75 Вт. Ее малый размер обеспечивает очень плотную компоновку элементов.

Tensor Cores T4 поддерживает типы данных INT4, INT8, FP16 и FP32, что позволяет разработчикам оптимизировать производительность, сводя к минимуму размер и объем вычислений, необходимых для конкретной модели с глубокой нейронной сетью (DNN). Система также предназначена для обращения к видеоприложениям. Она может анализировать 38 потоковых видео высокой четкости в реальном времени.

Каждый T4 имеет 2560 CUDA ядер, 320 тензоресурсов Тьюринга и 16 ГБ GDDR6 с пропускной способностью более 320 ГБ / с. Плата включает в себя интерфейс x16 PCIe и рассчитана на 260 INT4 TOPS, 130 INT8 TOPS, 65 FP16 TFLOPS и 8.1 FP32 TFLOPS.

Линейка NVIDEIA DRIVE AGX (рисунок ниже) привносит ту же архитектуру в автомобильные приложения, которые обслуживались сериями P4 от NVIDIA. Высокопроизводительный NVIDIA DRIVE AGX PEGASUS, объединяющий два процессора NVIDIA Xavier и два графических процессора на основе Tensor Core, обеспечивает 320 TOPS. Более компактный NVIDIA DRIVE AGX Xavier имеет один процессор мощностью всего 30 Вт. Оба доступны в качестве комплектов для разработки.

Эти системы используют DRIVE Software 1.0, предназначенные для автономных систем. Поддержка DriveNet DNN позволяет транспортным средствам обнаруживать и классифицировать объекты в окружающей среде и отслеживать их при переходе с одного кадра на другой. Благодаря поддержке LaneNet и OpenRoadNet система может идентифицировать маркировку полосы и определять скорость, подсчитывая количество пробелов между полосой разметки.

SDK DRIVE IX также включает поддержку обработки входных данных от камер, подключенных к драйверам. Он может распознать выражение лица водителя, чтобы определить, спит ли он и каково его состояние в данный момент.

Кроме того, программное обеспечение поставляется с инструментом записи данных. Следовательно, разработчики и производители могут собирать данные в режиме реального времени с временными метками с различных датчиков для обучения, тестирования и проверки системы.

Другой областью применения, на которую нацеливается NVIDIA, является медицинское оборудование, где машинное обучение может предоставить дополнительную поддержку. Система Clara AGX (рисунок выше) представляет собой комбинацию аппаратного и программного обеспечения. Clara SDK предоставляет разработчикам набор библиотек с ускорением на графических процессорах для вычислений, графики и искусственного интеллекта, предназначенных для медицинских приложений, таких как обработка изображений и рендеринг, а также вычислительные рабочие процессы для компьютерной томографии (КТ), МРТ и ультразвуковых приложений. Инструменты используют CLARA-контейнеры и Kubernetes, что позволяет приложениям быть масштабируемыми.

Платформа Jetson AGX Xavier предназначена для мобильных приложений, таких как робототехника (рисунок ниже). Платформа SoC включает 512-ядерный Volta GPGPU с Tensor Cores и 8-ядерный 64-разрядный процессор ARM v8.2 с 8 МБ кэша L2 и 4 МБ кэша L3. Модуль содержит 16 ГБ 256-битного LPDDR4x с пропускной способностью 137 ГБ / с и 32 ГБ флэш-памяти eMMC 5.1. Энергонезависимое хранилище можно расширить с помощью M.2 Key M (NVMe) или интерфейса M.2 Key E, SD / UFS-сокета, а также интерфейса eSATAp и соединения USB 3.0 типа A.

Система также включает в себя пару ускорителей глубокого обучения NVDLA и 7-позиционный процессор визуализации VLIW. Поддержка аппаратного кодирования / декодирования может обрабатывать два 4Kp60, а также пару высокоэффективных видеокодов (HEVC) на 4Kp60. Модуль измеряет площадь 105 на 105 мм.

Jetson AGX Xavier может обрабатывать 16 подключений камеры CSI-2. Он имеет два интерфейса x8 PCI Express Gen 4, а также интерфейс Gigabit Ethernet и два интерфейса USB-C. Один из них поддерживает DisplayPort, в то время как другой поддерживает отладку (System Debug) и Flash-поддержки. 40-контактный последовательный разъем  и GPIO. Система предлагает выходы High-Definition Audio, HDMI и DisplayPort.

Доступны версии, которые используют всего 10 Вт, а верхний потолок — 30 Вт.