革命性的AI推論與Nvidia Nim：深入潛水

人工智能（AI）正在全球改變行業(yè)，影響醫(yī)療保健，自動駕駛汽車，金融和客戶服務(wù)。儘管AI模型開發(fā)受到了極大的關(guān)注，但AI推斷（將經(jīng)過訓(xùn)練的模型都應(yīng)用於新數(shù)據(jù)以進行預(yù)測），是現(xiàn)實世界影響真正表現(xiàn)出來的。隨著AI驅(qū)動的應(yīng)用變得越來越普遍，對高效，可擴展和低延遲推理解決方案的需求飆升。 NVIDIA神經(jīng)推斷微服務(wù)（NIM）解決了這一需求。 NIM使開發(fā)人員將AI模型部署為微服務(wù)，從而簡化了大規(guī)模推理解決方案的交付。本文探討了NIM的功能，通過NIM API展示了模型使用情況，並展示了其對AI推斷的變革性影響。

關(guān)鍵學(xué)習(xí)目標：

• 掌握AI推理及其跨行業(yè)應(yīng)用的重要性。
• 了解NVIDIA NIM在AI模型部署中的功能和優(yōu)勢。
• 學(xué)會通過NVIDIA NIM API訪問和利用預(yù)訓(xùn)練的模型。
• 掌握測量不同AI模型的推理速度的過程。
• 探索NIM的實際示例，用於文本生成和圖像創(chuàng)建。
• 欣賞NIM的模塊化體系結(jié)構(gòu)及其對可擴展AI解決方案的好處。

（本文是數(shù)據(jù)科學(xué)博客馬拉鬆的一部分。）

目錄：

• 什麼是NVIDIA NIM？
• 探索Nvidia Nim的主要特徵
• 訪問Nvidia Nim中的型號
• 用各種模型評估推理速度
• 穩(wěn)定擴散3介質(zhì)：案例研究
• 常見問題

什麼是NVIDIA NIM？

NVIDIA NIM是一個平臺，利用微服務(wù)來簡化現(xiàn)實世界應(yīng)用中的AI推斷。微服務(wù)（獨立但協(xié)作服務(wù)）可以創(chuàng)建可擴展的，適應(yīng)性的系統(tǒng)。通過包裝現(xiàn)成的AI模型作為微服務(wù)，NIM允許開發(fā)人員在沒有復(fù)雜的基礎(chǔ)架構(gòu)或規(guī)?？紤]的情況下快速整合這些模型。

NVIDIA NIM的關(guān)鍵特徵：

• 預(yù)先訓(xùn)練的AI模型： NIM提供了用於不同任務(wù)的預(yù)培訓(xùn)模型的庫，包括語音識別，自然語言處理（NLP）和計算機視覺。
• 性能優(yōu)化： NIM利用NVIDIA的功能強大的GPU和軟件優(yōu)化（如張力），用於低延遲，高通量推斷。
• 模塊化設(shè)計：開發(fā)人員可以組合和自定義微服務(wù)以滿足特定的推理要求。

探索Nvidia Nim的主要特徵：

快速部署的預(yù)訓(xùn)練模型： NIM提供了各種預(yù)訓(xùn)練的模型，準備立即部署，涵蓋各種AI任務(wù)。

低延遲推斷： NIM在提供快速響應(yīng)方面表現(xiàn)出色，這對於諸如自主駕駛的實時應(yīng)用程序至關(guān)重要，而自動駕駛，即傳感器和相機數(shù)據(jù)的立即處理至關(guān)重要。

訪問Nvidia Nim的型號：

1. 訪問NVIDIA NIM並使用您的電子郵件地址登錄。

2. 選擇一個模型並獲取您的API密鑰。

用各種模型評估推理速度：

本節(jié)演示瞭如何評估不同AI模型的推理速度。響應(yīng)時間對於實時應(yīng)用程序至關(guān)重要。我們將以推理模型（Llama-3.2-3b-Instruct Preview）為例。

推理模型（Llama-3.2-3b-Instruct）：

此NLP模型處理並響應(yīng)用戶查詢。以下代碼段（需要openai和python-dotenv庫）展示了其使用和措施的推理速度：

來自O(shè)penai Import Openai
來自dotenv import load_dotenv
導(dǎo)入操作系統(tǒng)
進口時間
load_dotenv（）

llama_api_key = os.getEnv（'nvidia_api_key'）

客戶端= OpenAi（
  base_url =“ https://integrate.api.nvidia.com/v1”，
  api_key = llama_api_key）

user_input =輸入（“輸入查詢：”）

start_time = time.time（）

completion = client.chat.completions.create（
  型號=“元/llama-3.2-3b-instruct”，
  消息= [{{“ cole”：“ user”，“ content”：user_input}]，
  溫度= 0.2，
  top_p = 0.7，
  max_tokens = 1024，
  流= true
）

end_time = time.time（）

完成零件：
  如果塊。
    打?。▔K。

response_time = end_time -start_time
print（f“ \ nResponse時間：{response_time}秒”） 

穩(wěn)定擴散3介質(zhì)：案例研究

穩(wěn)定的擴散3介質(zhì)從文本提示中生成圖像。以下代碼（使用requests庫）說明了其用法：

導(dǎo)入請求
導(dǎo)入基礎(chǔ)64
來自dotenv import load_dotenv
導(dǎo)入操作系統(tǒng)
進口時間
load_dotenv（）

Invoke_url =“ https://ai.api.nvidia.com/v1/genai/stociateai/stable-diffusion-3-medium”

api_key = os.getEnv（'stable_diffusion_api'）

＃...（其餘代碼保持不變） 

結(jié)論：

NVIDIA NIM為有效，可擴展的AI推斷提供了強大的解決方案。它的微服務(wù)體系結(jié)構(gòu)與GPU加速度和預(yù)訓(xùn)練的模型相結(jié)合，可以在雲(yún)和邊緣環(huán)境中快速部署實時AI應(yīng)用程序。

關(guān)鍵要點：

• NIM的微服務(wù)體系結(jié)構(gòu)允許對AI推理的有效縮放。
• NIM利用NVIDIA GPU和Tensorrt進行優(yōu)化的推理性能。
• NIM非常適合各個行業(yè)的低延期應(yīng)用。

常見問題：

Q1。 NVIDIA NIM的主要組成部分是什麼？答：核心組件包括推理服務(wù)器，預(yù)訓(xùn)練的模型，張力優(yōu)化和微服務(wù)體系結(jié)構(gòu)。

Q2。 NVIDIA NIM可以與現(xiàn)有的AI模型集成嗎？答：是的，NIM支持通過容器化的微服務(wù)和標準API與現(xiàn)有模型集成。

Q3。 NVIDIA NIM如何工作？答：NIM通過提供用於建立AI助手和副駕駛的API，並簡化為IT和DevOps團隊的模型部署來簡化AI應(yīng)用程序的開發(fā)。

Q4。提供了多少個API積分？答：個人電子郵件帳戶的1000個學(xué)分，商業(yè)帳戶的5000個。

（注意：所使用的圖像不由作者所有，並且經(jīng)過許可。）

以上是關(guān)於NVIDIA NIM的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！