微軟Ignite全球技術大會發(fā)布的新工具和資源包括OpenAIChatAPI的TensorRT-LLM封裝接口、RTX驅(qū)動的性能改進DirectMLforLlama2、其他熱門LLM

WindowsPC上的AI標志著科技史上的關鍵時刻,它將徹底改變玩家、創(chuàng)作者、主播、上班族、學生乃至普通PC用戶的體驗。

AI為1億多臺采用RTX GPU的Windows PC和工作站提高生產(chǎn)力帶來前所未有的機會。NVIDIA RTX技術使開發(fā)者更輕松地創(chuàng)建AI應用,從而改變?nèi)藗兪褂糜嬎銠C的方式。

在微軟Ignite大會上發(fā)布的全新優(yōu)化、模型和資源將更快地幫助開發(fā)者提供新的終端用戶體驗。

TensorRT-LLM是一款提升AI推理性能的開源軟件,它即將發(fā)布的更新將支持更多大語言模型,在RTXGPU8GB及以上顯存的PC和筆記本電腦上使要求嚴苛的AI工作負載更容易完成。

Tensor RT-LLM for Windows即將通過全新封裝接口與OpenAI廣受歡迎的聊天API兼容。這將使數(shù)以百計的開發(fā)者項目和應用能在RTXPC的本地運行,而非云端運行,因此用戶可以在PC上保留私人和專有數(shù)據(jù)。

定制的生成式AI需要時間和精力來維護項目。特別是跨多個環(huán)境和平臺進行協(xié)作和部署時,該過程可能會異常復雜和耗時。

AI Workbench 是一個統(tǒng)一、易用的工具包,允許開發(fā)者在 PC 或工作站上快速創(chuàng)建、測試和定制預訓練生成式 AI 模型和 LLM。它為開發(fā)者提供一個單一平臺,用于組織他們的AI項目,并根據(jù)特定用戶需求來調(diào)整模型。

這使開發(fā)者能夠進行無縫協(xié)作和部署,快速創(chuàng)建具有成本效益、可擴展的生成式AI模型。加入搶先體驗名單,成為首批用戶以率先了解不斷更新的功能,并接收更新信息。

為支持AI開發(fā)者,NVIDIA與微軟發(fā)布DirectML增強功能以加速最熱門的基礎AI模型之一的Llama2。除了全新性能標準,開發(fā)者現(xiàn)在有更多跨供應商部署可選。

便攜式AI

10月,NVIDIA發(fā)布TensorRT-LLMfor Windows -- 一個用于加速大語言模型(LLM)推理的庫。

本月底發(fā)布的TensorRT-LLMv0.6.0 更新將帶來至高達5倍的推理性能提升,并支持更多熱門的LLM,包括全新Mistral7B和Nemotron-38B。這些LLM版本將可在所有采用8GB及以上顯存的GeForceRTX30系列和40系列GPU上運行,從而使最便攜的WindowsPC設備也能獲得快速、準確的本地運行LLM功能。

TensorRT-LLM v0.6.0 帶來至高達5倍推理性能提升

新發(fā)布的TensorRT-LLM可在/NVIDIA/TensorRT-LLM GitHub代碼庫中下載安裝,新調(diào)優(yōu)的模型將在ngc.nvidia.com提供。

從容對話

世界各地的開發(fā)者和愛好者將OpenAI的聊天API廣泛用于各種應用——從總結(jié)網(wǎng)頁內(nèi)容、起草文件和電子郵件,到分析和可視化數(shù)據(jù)以及創(chuàng)建演示文稿。

這類基于云的AI面臨的一大挑戰(zhàn)是它們需要用戶上傳輸入數(shù)據(jù),因此對于私人或?qū)Ｓ袛?shù)據(jù)以及處理大型數(shù)據(jù)集來說并不實用。

為應對這一挑戰(zhàn),NVIDIA即將啟用TensorRT-LLM for Windows,通過全新封裝接口提供與OpenAI廣受歡迎的ChatAPI類似的API接口,為開發(fā)者帶來類似的工作流,無論他們設計的模型和應用要在RTXPC的本地運行,還是在云端運行。只需修改一兩行代碼,數(shù)百個AI驅(qū)動的開發(fā)者項目和應用現(xiàn)在就能從快速的本地AI中受益。用戶可將數(shù)據(jù)保存在PC上,不必擔心將數(shù)據(jù)上傳到云端。

使用由 TensorRT-LLM 驅(qū)動的 Microsoft VS Code 插件 Continue.dev 編碼助手

https://images.nvidia.cn/cn/youtube-replicates/-P17YXulhDc.mp4

此外,最重要的一點是這些項目和應用中有很多都是開源的,開發(fā)者可以輕松利用和擴展它們的功能,從而加速生成式AI在RTX驅(qū)動的WindowsPC上的應用。

該封裝接口可與所有對TensorRT-LLM進行優(yōu)化的LLM(如,Llama2、Mistral和NVLLM)配合使用,并作為參考項目在GitHub上發(fā)布,同時發(fā)布的還有用于在RTX上使用LLM的其他開發(fā)者資源。

模型加速

開發(fā)者現(xiàn)可利用尖端的AI模型,并通過跨供應商API進行部署。NVIDIA和微軟一直致力于增強開發(fā)者能力,通過DirectMLAPI在RTX上加速Llama。

在10月宣布的為這些模型提供最快推理性能的基礎上,這一跨供應商部署的全新選項使將AI引入PC變得前所未有的簡單。

開發(fā)者和愛好者可下載最新的ONNX運行時并按微軟的安裝說明進行操作,同時安裝最新NVIDIA驅(qū)動(將于11月21日發(fā)布)以獲得最新優(yōu)化體驗。

這些新優(yōu)化、模型和資源將加速AI功能和應用在全球1億臺RTXPC上的開發(fā)和部署,一并加入400多個合作伙伴的行列,他們已經(jīng)發(fā)布了由RTXGPU加速的AI驅(qū)動的應用和游戲。

隨著模型易用性的提高,以及開發(fā)者將更多生成式AI功能帶到RTX驅(qū)動的WindowsPC上,RTXGPU將成為用戶利用這一強大技術的關鍵。

關于NVIDIA
自1993年成立以來,NVIDIA (NASDAQ: NVDA) 一直是加速計算領域的先驅(qū)。NVIDIA 1999年發(fā)明的GPU驅(qū)動了PC游戲市場的增長,并重新定義了現(xiàn)代計算機圖形,開啟了現(xiàn)代AI時代,正在推動跨市場的工業(yè)數(shù)字化。NVIDIA現(xiàn)在是一家全棧計算公司,其數(shù)據(jù)中心規(guī)模的解決方案正在重塑整個行業(yè)。更多信息,請訪問https://nvidianews.nvidia.com/ 。

# # #

媒體咨詢:

Jade Li

NVIDIA GeForce, Studio PR

郵箱:jadli@nvidia.com