誰不想從他們的文檔中得到即時(shí)答案？這正是 RAG 聊天機(jī)器人所做的——將檢索與人工智能生成相結(jié)合，以實(shí)現(xiàn)快速、準(zhǔn)確的響應(yīng)！

在本指南中，我將向您展示如何使用 檢索增強(qiáng)生成 (RAG) 以及 LangChain 和 Streamlit 創(chuàng)建聊天機(jī)器人。該聊天機(jī)器人將從知識(shí)庫中提取相關(guān)信息并使用語言模型生成響應(yīng)。

我將引導(dǎo)您完成每個(gè)步驟，提供多種響應(yīng)生成選項(xiàng)，無論您使用 OpenAI、Gemini 還是 Fireworks — 確保靈活和具有成本效益的解決方案。

什么是檢索增強(qiáng)生成 (RAG)？

RAG 是一種結(jié)合了檢索和生成的方法，以提供更準(zhǔn)確和上下文感知的聊天機(jī)器人響應(yīng)。檢索過程從知識(shí)庫中提取相關(guān)文檔，而生成過程則使用語言模型根據(jù)檢索到的內(nèi)容創(chuàng)建連貫的響應(yīng)。這確保您的聊天機(jī)器人可以使用最新數(shù)據(jù)回答問題，即使語言模型本身尚未針對(duì)該信息進(jìn)行專門訓(xùn)練。

想象一下您有一位私人助理，但他并不總是知道您問題的答案。因此，當(dāng)你提出問題時(shí)，他們會(huì)翻閱書籍并找到相關(guān)信息（檢索），然后他們總結(jié)這些信息并用自己的話告訴你（生成）。這本質(zhì)上就是 RAG 的工作原理，結(jié)合了兩全其美的優(yōu)點(diǎn)。

在流程圖中，RAG 流程有點(diǎn)像這樣：

現(xiàn)在，讓我們開始吧，建立我們自己的聊天機(jī)器人！

---

設(shè)置項(xiàng)目環(huán)境

本教程中我們將主要使用 Python，如果您是 JS 頭，您可以按照說明并瀏覽 langchain js 的文檔。

首先，我們需要設(shè)置項(xiàng)目環(huán)境。這包括創(chuàng)建項(xiàng)目目錄、安裝依賴項(xiàng)以及為不同語言模型設(shè)置 API 密鑰。

1. 創(chuàng)建項(xiàng)目文件夾和虛擬環(huán)境

首先創(chuàng)建項(xiàng)目文件夾和虛擬環(huán)境：

mkdir rag-chatbot
cd rag-chatbot
python -m venv venv
source venv/bin/activate

2.安裝依賴項(xiàng)

接下來，創(chuàng)建一個(gè)requirements.txt 文件來列出所有必需的依賴項(xiàng)：

langchain==0.0.329
streamlit==1.27.2
faiss-cpu==1.7.4
python-dotenv==1.0.0
tiktoken==0.5.1
openai==0.27.10
gemini==0.3.1
fireworks==0.4.0
sentence_transformers==2.2.2

現(xiàn)在，安裝這些依賴項(xiàng)：

pip install -r requirements.txt

3. 設(shè)置 API 密鑰

我們將使用 OpenAI、Gemini 或 Fireworks 來生成聊天機(jī)器人的響應(yīng)。您可以根據(jù)自己的喜好選擇其中任何一個(gè)。

如果您正在嘗試，請(qǐng)不要擔(dān)心，F(xiàn)ireworks 免費(fèi)提供價(jià)值 1 美元的 API 密鑰，gemini-1.5-flash 模型在一定程度上也是免費(fèi)的！

設(shè)置 .env 文件來存儲(chǔ)您首選模型的 API 密鑰：

mkdir rag-chatbot
cd rag-chatbot
python -m venv venv
source venv/bin/activate

請(qǐng)務(wù)必注冊(cè)這些服務(wù)并獲取您的 API 密鑰。 Gemini 和 Fireworks 均提供免費(fèi)套餐，而 OpenAI 根據(jù)使用情況收費(fèi)。

---

文檔處理和分塊

為了給聊天機(jī)器人提供上下文，我們需要處理文檔并將它們分成可管理的塊。這很重要，因?yàn)樾枰纸獯笪谋疽赃M(jìn)行嵌入和索引。

1.創(chuàng)建document_processor.py

創(chuàng)建一個(gè)名為 document_processor.py 的新 Python 腳本來處理文檔處理：

langchain==0.0.329
streamlit==1.27.2
faiss-cpu==1.7.4
python-dotenv==1.0.0
tiktoken==0.5.1
openai==0.27.10
gemini==0.3.1
fireworks==0.4.0
sentence_transformers==2.2.2

此腳本加載一個(gè)文本文件，并將其分割成約 1000 個(gè)字符的較小塊，并有少量重疊，以確保塊之間不會(huì)丟失上下文。處理完成后，文檔就可以嵌入并建立索引了。

---

創(chuàng)建嵌入和索引

現(xiàn)在我們已經(jīng)對(duì)文檔進(jìn)行了分塊，下一步是將它們轉(zhuǎn)換為嵌入（文本的數(shù)字表示）并為它們建立索引以便快速檢索。 （因?yàn)闄C(jī)器理解數(shù)字比理解單詞更容易）

1.創(chuàng)建embedding_indexer.py

創(chuàng)建另一個(gè)名為 embedding_indexer.py 的腳本：

pip install -r requirements.txt

在此腳本中，嵌入是使用 Hugging Face 模型（all-MiniLM-L6-v2）創(chuàng)建的。然后，我們將這些嵌入存儲(chǔ)在 FAISS 矢量存儲(chǔ)中，這使我們能夠根據(jù)查詢快速檢索相似的文本塊。

---

實(shí)施檢索和響應(yīng)生成

令人興奮的部分來了：將檢索與語言生成相結(jié)合！現(xiàn)在，您將創(chuàng)建一個(gè) RAG 鏈 ，它從向量存儲(chǔ)中獲取相關(guān)塊并使用語言模型生成響應(yīng)。 （向量存儲(chǔ)是一個(gè)數(shù)據(jù)庫，我們存儲(chǔ)轉(zhuǎn)換為數(shù)字作為向量的數(shù)據(jù)）

1.創(chuàng)建rag_chain.py

讓我們創(chuàng)建文件 rag_chain.py：

# Uncomment your API key
# OPENAI_API_KEY=your_openai_api_key_here
# GEMINI_API_KEY=your_gemini_api_key_here
# FIREWORKS_API_KEY=your_fireworks_api_key_here

在這里，我們根據(jù)您提供的 API 密鑰在 OpenAI、Gemini 或 Fireworks 之間進(jìn)行選擇。 RAG 鏈將檢索前 3 個(gè)最相關(guān)的文檔，并使用語言模型生成響應(yīng)。

您可以根據(jù)自己的預(yù)算或使用偏好在模型之間切換 - Gemini 和 Fireworks 是免費(fèi)的，而 OpenAI 根據(jù)使用情況收費(fèi)。

---

構(gòu)建聊天機(jī)器人界面

現(xiàn)在，我們將構(gòu)建一個(gè)簡(jiǎn)單的聊天機(jī)器人界面，以使用我們的 RAG 鏈獲取用戶輸入并生成響應(yīng)。

1.創(chuàng)建chatbot.py

創(chuàng)建一個(gè)名為chatbot.py的新文件：

mkdir rag-chatbot
cd rag-chatbot
python -m venv venv
source venv/bin/activate

此腳本創(chuàng)建一個(gè)命令行聊天機(jī)器人界面，持續(xù)偵聽用戶輸入，通過 RAG 鏈對(duì)其進(jìn)行處理，并返回生成的響應(yīng)。

---

創(chuàng)建 Streamlit UI

是時(shí)候使用 Streamlit 構(gòu)建 Web 界面，讓您的聊天機(jī)器人更加用戶友好。這將允許用戶通過瀏覽器與您的聊天機(jī)器人交互。

1.創(chuàng)建app.py

創(chuàng)建app.py：

langchain==0.0.329
streamlit==1.27.2
faiss-cpu==1.7.4
python-dotenv==1.0.0
tiktoken==0.5.1
openai==0.27.10
gemini==0.3.1
fireworks==0.4.0
sentence_transformers==2.2.2

2. 運(yùn)行 Streamlit 應(yīng)用程序

要運(yùn)行您的 Streamlit 應(yīng)用程序，只需使用：

pip install -r requirements.txt

這將啟動(dòng)一個(gè)網(wǎng)絡(luò)界面，您可以在其中上傳文本文件、提出問題并從聊天機(jī)器人接收答案。

---

優(yōu)化性能

為了獲得更好的性能，您可以在分割文本時(shí)嘗試塊大小和重疊。較大的塊提供更多上下文，但較小的塊可能使檢索速度更快。您還可以使用 Streamlit 緩存 來避免重復(fù)生成嵌入等昂貴的操作。

如果您想優(yōu)化成本，可以根據(jù)查詢復(fù)雜度在 OpenAI、Gemini 或 Fireworks 之間切換 — 使用 OpenAI 對(duì)于復(fù)雜的問題，Gemini 或 Fireworks 對(duì)于更簡(jiǎn)單的問題以降低成本。

---

總結(jié)

恭喜！您已成功創(chuàng)建自己的基于 RAG 的聊天機(jī)器人?，F(xiàn)在，可能性是無限的：

• 創(chuàng)建您自己的個(gè)性化學(xué)習(xí)伙伴。
• 不再需要查看冗長(zhǎng)的文檔 - 只需“RAG it out”即可獲得快速、準(zhǔn)確的答案！

旅程從這里開始，潛力無限！

---

您可以在 GitHub 上關(guān)注我的工作。請(qǐng)隨時(shí)與我聯(lián)系 - 我的 DM 在 X 和 LinkedIn 上始終開放。

以上是創(chuàng)建您自己的 AI RAG 聊天機(jī)器人：LangChain 的 Python 指南的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！