大型語言模型（LLM），例如GPT和Llama，徹底改變了我們處理語言任務(wù)的方式，從創(chuàng)建智能聊天機器人到生成復(fù)雜的代碼片段，無所不能。Hugging Face等云平臺簡化了這些模型的使用，但在某些情況下，在您自己的計算機上本地運行LLM是更明智的選擇。為什么？因為它提供了更高的隱私性，允許根據(jù)您的特定需求進行定制，并且可以顯著降低成本。本地運行LLM讓您完全掌控，使您能夠按照自己的條件利用其強大功能。

讓我們看看如何使用Ollama和Hugging Face只需幾個簡單的步驟就能在您的系統(tǒng)上運行LLM！

以下視頻逐步解釋了該過程：

如何在一分鐘內(nèi)本地運行LLM【初學者友好型】

使用Ollama ? 和Hugging Face ? 視頻鏈接

— dylan (@dylanebert) 2025年1月6日

本地運行LLM的步驟

步驟1：下載Ollama

首先，在您的瀏覽器上搜索“Ollama”，下載并安裝到您的系統(tǒng)上。

步驟2：查找最佳開源LLM

接下來，搜索“Hugging Face LLM排行榜”以查找頂級開源語言模型列表。

步驟3：根據(jù)您的設(shè)備篩選模型

看到列表后，應(yīng)用過濾器以查找最適合您設(shè)置的模型。例如：

• 選擇家用消費級設(shè)備。
• 僅選擇官方提供商，以避免非官方或未經(jīng)驗證的模型。
• 如果您的筆記本電腦配備低端GPU，請選擇專為邊緣設(shè)備設(shè)計的模型。

點擊排名靠前的模型，例如Qwen/Qwen2.5-35B。在屏幕右上角，點擊“使用此模型”。但是，您在這里找不到Ollama作為選項。

這是因為Ollama使用一種稱為gguf的特殊格式，它是模型的更小、更快且量化的版本。

（注意：量化會稍微降低質(zhì)量，但使其更適合本地使用。）

獲取gguf格式的模型：

• 前往排行榜上的“量化”部分——這里大約有80個模型可用。按下載次數(shù)最多對這些模型進行排序。

查找名稱中包含“gguf”的模型，例如Bartowski。這是一個不錯的選擇。

• 選擇此模型并點擊“使用此模型與Ollama”。
• 對于量化設(shè)置，選擇一個文件大小，該大小比您的GPU RAM小1-2GB，或選擇推薦的選項，例如Q5_K_M。

步驟5：下載并開始使用模型

復(fù)制為您選擇的模型提供的命令，并將其粘貼到您的終端中。按“Enter”鍵并等待下載完成。

下載完成后，您可以像使用任何其他LLM一樣開始與模型聊天。簡單又有趣！

就是這樣！您現(xiàn)在正在您的設(shè)備上本地運行強大的LLM。請在下面的評論部分告訴我這些步驟是否對您有效。

以上是如何在1分鐘內(nèi)在本地運行LLM？的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！