好消息激勵美股收紅!輝達成交額奪冠、台積電ADR大漲2.88%
(2025/01/31 10:42)DeepSeek-R1擁最先進推理能力 輝達:可在NVIDIA NIM使用

輝達官網於美東時間30日指出,DeepSeek-R1是一個具有最先進推理能力的開放模型,且DeepSeek R1 671b已作為英偉達NIM微服務預覽版在build.nvidia.com上發布。DeepSeek R1 NIM微服務在單一輝達HGX H200系統上每秒最多可處理3872個token。開發人員可以對API進行測試和實驗,預計該API不久將作為輝達AI Enterprise軟體平台的一部分,以可下載的NIM微服務形式推出。
輝達官網指出,DeepSeek-R1等推理模型不會提供直接回應,而是對查詢進行多次推理,採用思路鏈、共識和搜尋方法來產生最佳答案。執行這一系列推理過程(使用推理得出最佳答案)稱為測驗時間擴展。 DeepSeek-R1是此擴展定律的完美範例,證明了加速計算對於代理AI推理的需求至關重要。
★【理財達人秀】台股AI法說股先動 怎布局? 年報股.爆量飆股 追買攻略★
由於模型可以反覆思考問題,因此它們會創建更多輸出標記和更長的生成週期,模型品質會不斷提高。大量的測試時計算對於實現即時推理和來自DeepSeek-R1等推理模型的更高品質反應至關重要,這需要更大規模的推理部署。R1在需要邏輯推理、推理、數學、編碼和語言理解的任務中提供了領先的準確性,同時也提供了高推理效率。
輝達續稱,為了幫助開發人員安全地試驗這些功能並建立自己的專用代理,6710億參數的DeepSeek-R1模型現已作為NVIDIA NIM微服務預覽版在build.nvidia.com上提供。DeepSeek-R1 NIM微服務可在單一NVIDIA HGX H200系統上每秒提供多達3872個代幣。
開發人員可以使用應用程式介面(API)進行測試和試驗,預計很快就會作為可下載的NIM微服務提供,是NVIDIA AI Enterprise軟體平台的一部分。
DeepSeek-R1 NIM微服務透過支援產業標準API簡化了部署。企業可以透過在其首選的加速運算基礎架構上運行NIM微服務來最大限度地提高安全性和資料隱私。透過使用NVIDIA AI Foundry和NVIDIA NeMo軟體,企業還可以為專門的AI代理程式創建客製化的DeepSeek-R1 NIM微服務。
(封面示意圖/東森新聞)
延伸閱讀
【往下看更多】
►好消息激勵美股收紅!輝達成交額奪冠、台積電ADR大漲2.88%
►急殺一天後輝達反攻大漲8% 台積電ADR漲5%
►黃仁勳「招牌皮衣」脫了 站C位大跳APT.
【熱門排行榜】
►威力彩衝20億!「4生肖」穿水、木色系往南走 財神會幫你
►街友偷銀行卡買刮刮樂「竟中千萬大獎」失主喊:對半分
►萬一中了威力彩怎麼領? 台彩公布「3號碼」中獎機率最高