選單 首頁 搜尋
東森財經新聞台 Apps
Play 商店 免費下載
下載
首頁財經新聞 > 產業 > DeepSeek-R1擁最先進推理能力 輝達:可在NVIDIA NIM使用

DeepSeek-R1擁最先進推理能力 輝達:可在NVIDIA NIM使用

2025/01/31 10:59
DeepSeek-R1擁最先進推理能力 輝達:可在NVIDIA NIM使用

輝達官網於美東時間30日指出,DeepSeek-R1是一個具有最先進推理能力的開放模型,且DeepSeek R1 671b已作為英偉達NIM微服務預覽版在build.nvidia.com上發布。DeepSeek R1 NIM微服務在單一輝達HGX H200系統上每秒最多可處理3872個token。開發人員可以對API進行測試和實驗,預計該API不久將作為輝達AI Enterprise軟體平台的一部分,以可下載的NIM微服務形式推出。

輝達官網指出,DeepSeek-R1等推理模型不會提供直接回應,而是對查詢進行多次推理,採用思路鏈、共識和搜尋方法來產生最佳答案。執行這一系列推理過程(使用推理得出最佳答案)稱為測驗時間擴展。 DeepSeek-R1是此擴展定律的完美範例,證明了加速計算對於代理AI推理的需求至關重要。

★【理財達人秀】台股AI法說股先動 怎布局? 年報股.爆量飆股 追買攻略

由於模型可以反覆思考問題,因此它們會創建更多輸出標記和更長的生成週期,模型品質會不斷提高。大量的測試時計算對於實現即時推理和來自DeepSeek-R1等推理模型的更高品質反應至關重要,這需要更大規模的推理部署。R1在需要邏輯推理、推理、數學、編碼和語言理解的任務中提供了領先的準確性,同時也提供了高推理效率。

輝達續稱,為了幫助開發人員安全地試驗這些功能並建立自己的專用代理,6710億參數的DeepSeek-R1模型現已作為NVIDIA NIM微服務預覽版在build.nvidia.com上提供。DeepSeek-R1 NIM微服務可在單一NVIDIA HGX H200系統上每秒提供多達3872個代幣。

開發人員可以使用應用程式介面(API)進行測試和試驗,預計很快就會作為可下載的NIM微服務提供,是NVIDIA AI Enterprise軟體平台的一部分。

DeepSeek-R1 NIM微服務透過支援產業標準API簡化了部署。企業可以透過在其首選的加速運算基礎架構上運行NIM微服務來最大限度地提高安全性和資料隱私。透過使用NVIDIA AI Foundry和NVIDIA NeMo軟體,企業還可以為專門的AI代理程式創建客製化的DeepSeek-R1 NIM微服務。

(封面示意圖/東森新聞)

延伸閱讀

 

【往下看更多】
好消息激勵美股收紅!輝達成交額奪冠、台積電ADR大漲2.88%
急殺一天後輝達反攻大漲8% 台積電ADR漲5%
黃仁勳「招牌皮衣」脫了 站C位大跳APT.

 

【熱門排行榜】
威力彩衝20億!「3星座」有意外財3招必看 中獎別驚慌
啦啦隊「女神變賭神」! 砸6.9萬押中華隊贏 爽賺17萬
他1個月電費6億!網傻「養了皮卡丘」...台電關切了
關鍵字: 輝達DeepSeek-R1NVIDIA NIM
Live 直播Live 直播
FB分享
字體變大
字體變小
加入Facebook粉絲團
訂閱Youtube頻道
收合
二月
一月
二月
三月
四月
五月
六月
七月
八月
九月
十月
十一月
十二月
2025
2015
2016
2017
2018
2019
2020
2021
2022
2023
2024
2025
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1
00:00
01:00
02:00
03:00
04:00
05:00
06:00
07:00
08:00
09:00
10:00
11:00
12:00
13:00
14:00
15:00
16:00
17:00
18:00
19:00
20:00
21:00
22:00
23:00