輝達新AI模型來了！ 50毫秒極速反應 效能狂飆逾9倍

輝達今日推出全新的開放式多模態人工智慧模型Nemotron-3-Nano-Omni，這款專為高吞吐量跨模態推理設計的30B-A3B型號，以50毫秒極速反應實現如同人類般流暢的影音互動，透過單一架構整合感知，賦予邊緣設備更強大的即時推理智慧。

★【理財達人秀】台積借過 勝漲千點 擊敗體感窮 低檔強奇兵 ★

單一架構推升9倍吞吐效能

輝達表示，Nemotron-3-Nano-Omni是一款輕巧的30B-A3B型號，專為高吞吐量的跨模態推理而設計。與過去需要拼接多個獨立模型來處理不同媒介的繁瑣做法相比，Nano-Omni最大的技術優勢在於其「單一模型」解決方案。這項架構創新讓AI代理在處理資料時的吞吐量，比其他同類型的開放式多模態模型高出達9倍之多，顯著優化了整體運算效率，讓多模態推理變得更加精簡且強大。

50毫秒超低延遲

在實際應用性能上，Nano-Omni展現了卓越的即時反應能力。輝達指出，該模型在邊緣端裝置運作時，首字產出時間（Time to First Token）僅需50毫秒。特別是在音訊處理的延遲表現上，Nano-Omni比現有的開放式模型快了2倍。這種近乎即時的反應速度，能讓終端設備實現具備自然節奏、如同人類對話般的流暢度，大幅提升了使用者與AI代理進行影音互動時的真實感與直覺性。

多階段對齊技術強化跨媒介推理

輝達開發團隊深入解析了Nano-Omni的訓練細節，強調其精準的感知能力來自於嚴謹的訓練流程。研發人員表示，「我們先在豐富的多模態數據集上進行預訓練，接著透過對齊流程，確保模型能將視覺、語音與文字資訊無縫融合」。這種訓練方式讓模型在六項指標性的基準測試中皆名列前茅，不僅能精確識別圖像，還能結合語音指令進行複雜的文件智慧分析與影音理解任務。

開放原始碼賦予開發者創新動能

為了加速全球AI生態系的應用發展，NVIDIA已正式將Nano-Omni在NIM平台及Hugging Face社群上架。輝達強調，這款高效能模型的推出，代表著複雜的多模態推理不再僅限於龐大的雲端伺服器，而是能深入個人電腦、手機及各種邊緣運算裝置中。透過提供這種高吞吐量且開源的工具，輝達旨在賦予開發者更多力量，讓具備情境感知能力的AI代理能加速走入大眾日常生活。

(封面圖/翻攝自輝達官網）