【導讀】現代機器人（包括人形機器人、自主移動平臺和工業自動化系統）必須在各種操作條件下以高精度、低延遲和一致的可靠性來感知環境。像視覺傳感器這樣的當前技術在暴露于霧、眩光、灰塵、雨水或弱光環境中時，性能往往會下降，而單模態深度傳感器經常難以在雜亂或動態場景中提供穩定的測量結果。
本文將概述如何使用德州儀器 (TI) IWR6243 毫米波雷達傳感器和部署在 NVIDIA Holocan 平臺上的攝像頭構建實時 AI 原始傳感器融合流程，如圖 1 所示。
圖 1 由攝像頭、IWR6243 毫米波雷達傳感器和 NVIDIA Holoscan 平臺組成的系統示意圖
TI 的毫米波雷達技術提供了一種從根本上不同的感應方式，這種方式本身就能應對各種環境挑戰。IWR6243 毫米波雷達傳感器可在不受光照條件影響的情況下提供精確的距離、速度和角度測量，并且具有很強的環境干擾抗擾性。當原始數據與基于攝像頭的感知和 AI 驅動的傳感器融合相結合時，與僅雷達或僅視覺方法相比，這種功能能夠實現穩健可靠的周圍環境感知，并且具有更高的保真度。
IWR6243 是一款在 57GHz 至 64GHz 頻段內工作的高度集成的單芯片 4RX 和 3TX 毫米波雷達收發器。這種集成水平能夠顯著降低系統復雜性、功耗和物料清單成本，從而使其適用于可擴展機器人和邊緣 AI 部署。該器件支持高分辨率點云生成，專為需要低延遲和確定性性能的實時感應應用而設計。
通過部署 IWR6243 以及 NVIDIA 的 Jetson Thor 和 NVIDIA Holoscan Sensor Bridge，開發人員可以將 TI 久經考驗的毫米波雷達感應與 NVIDIA GPU 加速的 AI 和流媒體基礎設施無縫結合。這種組合使雷達數據能夠高效地流入 AI 傳感器融合流程，同時保持 TI 雷達著名的物理測量精度和可靠性。
在機器人應用中，IWR6243 能夠實現精確的短距離人體檢測和運動跟蹤，從而在倉庫等擁擠環境中進行安全導航。借助雷達的直接距離和速度測量功能，可以在機器人周圍創建一個動態安全緩沖區，可以根據物體距離和相對速度定義和連續調整保護區域。在人形機器人中，雷達傳感器進一步支持在行走、運行或操作任務期間實現穩定的平衡控制和動態避障。
系統概述
系統架構以低延遲、以 GPU 為核心的數據通路為中心，在保留傳感器原始精度的同時，支持高級 AI 處理。該設計集成了 TI 的 IWR6243 毫米波雷達模塊、攝像頭模塊、用于高帶寬和確定性傳感器數據收集的 NVIDIA Holoscan Sensor Bridge，以及所有在 Holoscan SDK（軟件開發套件）上運行的 NVIDIA Jetson Thor 邊緣計算平臺，如圖 2 所示。
圖 2 系統概述
IWR6243 毫米波雷達傳感器通過高速 CSI-2 接口提供原始測量數據，可實現對原始雷達信息的直接、低延遲訪問，且傳輸開銷極低。該接口可將雷達數據高效流式傳輸至 NVIDIA Holoscan Sensor Bridge，借助零拷貝機制將數據直接傳入 GPU 內存，全程兼具以太網的可擴展性與靈活性。該方案在保持 TI 高精度雷達測量數據完整性的同時，最大限度降低延遲并減少 CPU 參與度。
傳入 GPU 之后，Holoscan 運行時會使用基于圖形的執行模型來編排處理流程。雷達信號處理、攝像頭預處理、神經網絡推理及多模式融合均采用確定性調度，確保在傳感器高數據率下仍能滿足實時性約束要求。借助這種架構，開發人員可以充分利用 TI 毫米波雷達的測量精度，同時高效擴展 AI 工作負載。
AI 傳感器融合流程
傳感器融合流程首先同步收集雷達和攝像頭數據。雷達處理利用 IWR6243 的能力提供距離、速度和角度測量的原始數據，生成可捕獲環境空間結構和運動特性的點云。同時，使用 GPU 加速的 AI 模型對攝像頭幀進行處理，這些模型提取語義信息，如對象身份、姿勢和分類。
圖 3. 雷達處理流程
融合階段將 TI 雷達測量與空間和時間的視覺檢測保持一致。雷達衍生的深度和速度信息補充了基于視覺的推理，可提高穩健性并減少模糊性。在涉及高速運動目標、部分遮擋或視覺環境惡化的場景中，僅依靠攝像頭感知極易失效，融合感知的價值尤為突出。
通過將 TI 不受照明影響的精確雷達傳感與 AI 驅動的視覺語義相結合，融合感知輸出可實現更高的置信度、更高的跟蹤穩定性和更可靠的對象分類。生成的融合數據可用于實時決策、導航、安全監控或下游自主堆棧。
TI 毫米波雷達在傳感器融合中的優勢
TI 的毫米波雷達為傳感器融合系統帶來了獨特的優勢，這種優勢難以通過其他傳感技術實現。直接測量距離和速度的能力可實現精確的運動理解，從而增強跟蹤和預測。毫米波傳感的穩健性使感知系統能夠在光學傳感器性能退化的環境（包括低光照、眩光、霧和灰塵）中可靠運行。
IWR6243 的高集成度可降低系統復雜性和功耗，同時實現可擴展的多傳感器部署。TI 在汽車和工業雷達領域的長期專業知識還為功能安全性、可靠性和長期可用性奠定了堅實的基礎，這些都是對機器人和自主系統的關鍵要求。
IWR6243 集成到基于 Holoscan 的 AI 流程時，可用作傳感器前端，為實際測量的 AI 推理提供可靠的傳感器數據。這種組合可提高整體系統性能，并降低邊緣部署中出現感知故障的風險。
開始使用硬件
基于德州儀器毫米波雷達與 NVIDIA Holoscan 構建雷達視覺傳感器融合系統，首先需搭建一套硬件平臺，支持從傳感器到集中式 AI 計算平臺的高帶寬、低延遲數據傳輸。參考硬件配置將 TI 的雷達評估硬件與 NVIDIA Holoscan Sensor Bridge 和 NVIDIA Jetson Thor 相結合。
IWR6243 級聯 EVM 用作雷達傳感前端。該評估模塊集成了兩個 IWR6243 毫米波雷達器件，以及快速開發和驗證所需的電源管理、時鐘和連接。借助 IWR6243 EVM，開發人員可以配置雷達線性調頻脈沖和幀時序，同時公開適用于高級信號處理和基于 AI 的融合的原始雷達數據。借助該 EVM 可加速系統啟動，并提供經過驗證的可靠硬件基準，能夠真實反映量產雷達方案的性能特性。
為了實現從 IWR6243EVM 到 Holoscan 生態系統的高效數據傳輸，在雷達評估模塊和 NVIDIA Holoscan Sensor Bridge 之間使用了一個 CSI-2 適配器板，如圖 4 所示。此適配器板將雷達輸出接口的信號橋接至傳感器橋預期的 CSI-2 輸入。
圖 4. 硬件概述
Lattice CertusPro-NX 傳感器到以太網橋接板在低延遲、低功耗、靈活的 FPGA 上運行，可用作高帶寬傳感器數據的中央聚合和傳輸設備。它接收來自雷達的 CSI-2 數據流，以及攝像頭等其他傳感器的各類接口信號。傳感器橋接器負責確定性數據移動，并將傳感器數據直接傳送到計算平臺上可由 GPU 訪問的存儲器中。
NVIDIA Jetson Thor 用作系統的集中計算平臺。Jetson Thor 提供雷達信號處理、攝像頭推理、多模式融合和實時決策所需的 GPU 性能和 AI 加速。在 NVIDIA Jetson Thor 上運行 Holoscan SDK 使開發人員能夠定義和執行流式 AI 流程，以可預測的延遲處理雷達和視覺數據。集中計算方法允許系統通過提高計算能力在不同的自主級別之間進行擴展，而無需重新設計傳感器硬件。
IWR6243EVM、CSI-2 適配器板、NVIDIA Holoscan Sensor Bridge、攝像頭模塊和 NVIDIA Jetson Thor 共同構成了雷達視覺傳感器融合的完整硬件基礎。這種配置使開發人員能夠專注于感知算法和 AI 融合，同時依賴于針對高帶寬檢測、低延遲和面向量產人形機器人和機器人系統的可擴展性進行優化的硬件架構。IWR6243 級聯 EVM 硬件和適配器板可直接從德州儀器 (TI) 獲取，開發人員應聯系其德州儀器 (TI) 售代表以了解供貨情況、訂購信息和支持選項。
開始使用軟件
在 NVIDIA Holoscan Bridge 上搭建雷達視覺傳感器融合軟件棧，需完成 Holoscan SDK 配置、啟用 Holoscan Sensor Bridge 軟件組件，并部署實現雷達處理與傳感器融合功能的應用軟件。
NVIDIA Holoscan SDK 為構建實時流式 AI 應用程序提供了核心軟件框架。它包括基于圖形的執行模型、GPU 加速運算符、確定性調度，以及對傳感器推理、可視化和數據移動的集成支持。該 SDK 在 NVIDIA Jetson Thor 上運行，并管理雷達處理和攝像頭推理的執行。
NVIDIA Holoscan Sensor Bridge 軟件棧通過支持高帶寬傳感器將數據高效地流式傳輸到 Holoscan 運行時來補充 SDK。它提供了必要的驅動程序、固件和接口，可將傳感器數據從基于 Lattice 的傳感器橋接硬件直接移動到 GPU 可訪問的存儲器中。該軟件層可將傳感器傳輸細節提取出來，并驗證確定性時序，使應用程序的開發人員能夠專注于感知算法而不是低級別的數據移動。Holoscan Sensor Bridge 與 Holoscan SDK 之間的緊密集成對于在實時融合應用中保持雷達與攝像頭流之間的同步至關重要。
在 NVIDIA Holoscan 平臺之上，應用軟件實現了雷達配置、信號處理、傳感器對齊和融合邏輯。在此系統中，應用軟件由 D3 Embedded 開發，專門設計用于利用德州儀器 (TI) 毫米波雷達、Lattice Semiconductor 的 Holoscan Sensor Bridge 板和 NVIDIA Holoscan 基礎設施。該軟件將 IWR6243 雷達數據集成到基于 Holoscan 的流程中，從而在集中式處理架構內實現雷達點云生成、攝像頭對齊和 AI 驅動的融合。
D3 Embedded 開發的應用軟件可作為 D3 Embedded sales@d3embedded.com 服務項目的一部分獲得。
NVIDIA Holoscan SDK、Holoscan Sensor Bridge 軟件棧和 D3 Embedded 的應用軟件共同構成了用于實時雷達視覺傳感器融合的完整軟件設計。這種組合實現了快速啟動和可擴展的性能，并為從評估硬件到可直接用于生產環境的人形機器人和機器人系統提供了清晰的途徑。
結語
TI 的 IWR6243 毫米波雷達與 NVIDIA Holoscan 平臺上的攝像頭數據之間的實時 AI 傳感器融合提供了穩健、可擴展且可立即投入生產的感知設計。TI 的毫米波雷達技術可對距離和速度進行準確且不受光照影響的測量，而 NVIDIA Holoscan 可實現超低延遲 GPU 處理和 AI 驅動的融合。這些技術可以讓開發人員共同構建能夠在復雜、動態和具有挑戰性的環境中可靠運行的高級感知系統，加快下一代機器人和自主機器的部署。
