利用物理資訊驅動的 NV-Raw2Insights-US AI 實現自適應超音波成像

具備物理資訊的 NV-Raw2Insights-US AI 實現自適應超音波成像

前言

超音波因其安全性、即時性、便攜性及低成本，成為應用最廣泛的醫學成像方式之一。數十年來，超音波影像一直使用人工設計的重建流程來生成，該流程將豐富的原始感測器測量數據壓縮成最終影像，同時對物理特性進行簡化假設，包括假設人體內的聲速為常數。

在 AI 與基礎模型的時代，一個自然而然的問題浮現：我們能否超越傳統的波束成形（beamforming）流程，直接從原始超音波感測器數據中學習，並利用那些在重建過程中通常被捨棄的資訊？如果可以，這將開啟哪些新功能？

NVIDIA 與來自 Siemens Healthineers 的研究人員合作尋找這些問題的答案。這項工作的成果是我們正在發布的一個名為 NV-Raw2Insights-US 的重建模型。

Raw2Insights

從本質上講，超音波不是影像——它是聲音。臨床醫生最終在螢幕上看到的是根據從人體返回的數百萬個微小回聲所構建的重建畫面。但在該重建過程中，許多原始訊號（即聲音在組織中實際傳播的豐富性）被簡化或丟失了。

我們的方法從更早的階段開始。NV-Raw2Insights-US 並非基於完成的影像工作，而是直接從超音波探頭捕捉的原始訊號中學習——這是聲音與身體真實交互最接近的呈現。這使得模型能夠更仔細地「聆聽」並理解每位患者如何獨特地影響這些聲波。我們的願景是實現超音波成像的端到端 AI，而這是邁向該願景的第一步。我們將這類模型稱為 Raw2Insights。

在第一個 Raw2Insights 應用中，我們估算聲速以進行自適應影像對焦。其結果是一個能為每位患者生成個人化聲速圖的系統，並能即時修正影像。過去需要複雜且耗時的計算，現在只需一次 AI 推論即可完成。這是從原始超音波通道數據到可執行洞察的轉變：一個不僅僅處理超音波影像，而是主動理解並適應每位個體患者物理特性的 AI 系統。

部署

通常情況下，由於高頻寬需求，臨床級超音波掃描儀上的原始超音波通道數據並不容易獲取。Holoscan Sensor Bridge (HSB) 是由 NVIDIA 開發的開源 FPGA IP，允許透過（RDMA over Converged Ethernet）將高頻寬、低延遲的數據傳輸至 GPU。使用 Altera Agilex-7 FPGA 開發套件搭配 NVIDIA Holoscan Sensor Bridge，可以從 ACUSON Sequoia 超音波掃描儀的 DisplayPort 輸出串流原始超音波通道數據。我們稱這項技術為 Data over DisplayPort。隨後，NVIDIA HSB 將數據封裝並透過乙太網路傳輸至 NVIDIA IGX，進行數據採集與 AI 推論。這展示了如何利用高頻寬 DisplayPort 輸出，將現代高性能運算能力與現有的掃描儀架構整合。

我們使用 NVIDIA Holoscan 部署 NV-Raw2Insights-US，這是一個邊緣 AI 感測器處理平台，專為 NVIDIA IGX Thor 和 NVIDIA DGX Spark 等系統上的高性能、即時工作負載而設計。

一旦數據進入 GPU 記憶體，NV-Raw2Insights-US 就會在 Blackwell 級 GPU 上執行加速推論，產生針對特定患者的聲速估算。此估算值會回傳至超音波掃描儀，從而改善即時影像串流的對焦效果。

系統能力

此演示架構在開發與部署方面皆提供了靈活性：

純軟體整合：透過 Data over DisplayPort 進行純軟體修改，即可實現 NVIDIA 對現有醫療設備的加速。

軟體定義超音波：這種軟體定義的方法可透過軟體更新實現持續改進。

模組化擴展：由於原始超音波通道數據已在 GPU 記憶體中，新的 AI 模型可以無縫整合。

總結展望

透過將超音波智慧從傳統演算法轉向 AI 驅動的 Raw2Insights 流程，我們開啟了一條通往 AI 原生成像的可擴展路徑。NV-Raw2Insights-US 直接從原始超音波通道數據而非重建影像中學習，減少了傳統假設引入的誤差，並有效地為每位患者調整成像。

這種架構不僅提升了目前的影像清晰度，還為下一代 AI 驅動的診斷系統奠定了模組化基礎。您可以從這裡開始在 NV-Raw2Insights-US 之上進行開發（GitHub / 模型權重 / 數據集）。

參考文獻

致謝

本項目是與 Siemens-Healthineers 密切合作完成的，我們非常感謝他們的支持，包括 AI 與高級平台小組的 Ismayil Guracar 和 Rickard Loftman 的直接協作。

此技術尚處於研究開發階段，尚未在美國或其他國家獲准上市或銷售。其未來的可用性無法保證。

本文提到的模型 1

本文提到的數據集 1

更多來自此作者的內容

在 Jetson Orin Nano Super 上的 Gemma 4 VLA 演示

如何利用合成人格讓韓國 AI 代理具備真實的人口統計背景

社群

· 註冊或登入以發表評論

本文提到的模型 1

本文提到的數據集 1