>多模式檢索儀（RAG）系統(tǒng)正在通過整合多種數(shù)據(jù)類型（TEXT，圖像，音頻和視頻）來徹底改變AI，從而獲得更多細(xì)微差別和上下文感知的響應(yīng)。 這超過了傳統(tǒng)的抹布，這僅關(guān)注文本。 一個(gè)關(guān)鍵的進(jìn)步是通訊嵌入，為視覺和文本數(shù)據(jù)創(chuàng)建了一個(gè)統(tǒng)一的空間，從而實(shí)現(xiàn)了無縫的跨模式交互。 高級(jí)模型會(huì)生成高質(zhì)量的嵌入，改善信息檢索並彌合不同內(nèi)容形式之間的差距，最終豐富用戶體驗(yàn)。

學(xué)習(xí)目標(biāo)

• 掌握了多模式抹布的基本原理及其優(yōu)勢比傳統(tǒng)抹布。
• 了解嵌入統(tǒng)一文本和圖像嵌入空間中的作用。
• 比較剪輯模型的somic視覺嵌入，分析性能基準(zhǔn)。
• >使用somic Vision和Text Embeddings在Python中實(shí)現(xiàn)多模式的RAG系統(tǒng)。
• 學(xué)習(xí)從PDF中提取和處理多模式檢索的文本和視覺數(shù)據(jù)。

*本文是*** 數(shù)據(jù)科學(xué)blogathon的一部分。

目錄的

>

什麼是多模式的抹布？
nive vision嵌入
>雜誌嵌入的性能基準(zhǔn)
python實(shí)施多模式抹布，帶有通知嵌入
• >步驟1：安裝必要的庫
  >步驟2：設(shè)置OpenAI API鍵並導(dǎo)入庫
  • >
  步驟3：從PDF
  • 中提取圖像
  步驟4：從PDF
  • 提取文本
  步驟5：保存提取的文本和圖像
  步驟6：塊文本數(shù)據(jù)
  >步驟7：加載名詞嵌入模型
  步驟8：生成嵌入
  >步驟9：將文本嵌入在qdrant
  • 中存儲(chǔ)
  >步驟10：將圖像嵌入在qdrant
  • 中
  >步驟11：創(chuàng)建一個(gè)多模式獵犬
  步驟12：用蘭鏈構(gòu)建多模式抹布
查詢模型
結(jié)論
常見問題

什麼是多模式的抹布？

>多模式抹布代表了一個(gè)顯著的AI進(jìn)步，這是通過合併多種數(shù)據(jù)類型來基於傳統(tǒng)抹布的。與主要處理文本的傳統(tǒng)系統(tǒng)不同，多模式抹布處理並同時(shí)集成了多個(gè)數(shù)據(jù)表格。這導(dǎo)致了更全面的理解和背景感知的反應(yīng)。

鍵多模式抹布組件：

• >數(shù)據(jù)攝入：來自各種來源的數(shù)據(jù)是使用專用處理器攝入的，確保驗(yàn)證，清潔和歸一化。
>
• >向量表示：>使用神經(jīng)網(wǎng)絡(luò)（例如，圖像的剪輯，文本的剪輯，bert for Text）來處理統(tǒng)一的矢量嵌入，保留語義關(guān)係。
> 使用索引技術(shù)（HNSW，F(xiàn)AISS），將> >向量數(shù)據(jù)庫存儲(chǔ)：
• 嵌入嵌入在優(yōu)化的矢量數(shù)據(jù)庫（例如qdrant）中，以有效檢索。 查詢處理：
>傳入查詢被分析，轉(zhuǎn)換為與存儲(chǔ)數(shù)據(jù)相同的向量空間，並用於識(shí)別相關(guān)模態(tài)並生成用於搜索的嵌入。
• nive vision嵌入

解決剪貼模型限制：

>

>剪輯以零拍功能出色時(shí)，其文本編碼在圖像檢索之外的任務(wù)中表現(xiàn)不佳（如MTEB基準(zhǔn)測試所示）。 Nimic Embed Vision通過將其視覺編碼器與嵌入式文本潛在空間保持一致來解決這一點(diǎn)。

媒體嵌入視覺與提名嵌入文本一起訓(xùn)練，凍結(jié)文本編碼器並在圖像文本對(duì)上訓(xùn)練視覺編碼器。這樣可以確保最佳的結(jié)果和與名詞嵌入文本嵌入的向後兼容性。

>

>雜誌嵌入的性能基準(zhǔn)

剪輯模型雖然在零拍功能方面令人印象深刻，但在語義相似性（MTEB基準(zhǔn)）等單峰任務(wù)中顯示出弱點(diǎn)。通用嵌入視覺通過將其視覺編碼器與名詞嵌入文本潛在空間保持一致，從而克服了這一點(diǎn)，從而在圖像，文本和多模式任務(wù)（Imagenet Zero-Shot，MTEB，MTEB，DataComp Benchmarks）中產(chǎn)生了強(qiáng)大的性能。

python實(shí)施多模式抹布，帶有通知嵌入

本教程構(gòu)建了一個(gè)多模式抹布系統(tǒng)，從包含文本和圖像的PDF檢索信息（使用帶有T4 GPU的Google Colab）。

>步驟1：安裝庫

安裝必要的Python庫：OpenAI，QDRANT，Transformers，Torch，Pymupdf等

>步驟2：設(shè)置OpenAI API鍵並導(dǎo)入庫

>

>設(shè)置OpenAI API密鑰並導(dǎo)入所需的庫（Pymupdf，PIL，Langchain，OpenAI等）。 （為簡短而省略了代碼。）

步驟3：從PDF

中提取圖像

>使用pymupdf從PDF提取圖像，然後將其保存到目錄中。 （為簡短而省略了代碼。）

步驟4：從PDF

提取文本

>使用pymupdf從每個(gè)PDF頁面中提取文本。 （為簡短而省略了代碼。）

步驟5：保存提取的數(shù)據(jù)

>保存提取的圖像和文本。 （為簡短而省略了代碼。）

步驟6：塊文本數(shù)據(jù)

>使用Langchain'sRecursiveCharacterTextSplitter將提取的文本分為較小的塊。 （為簡短而省略了代碼。）

>步驟7：加載名詞嵌入模型

>使用擁抱面孔的變形金剛加載Nomic的文本和視覺嵌入模型。 （為簡短而省略了代碼。）

步驟8：生成嵌入

生成文本和圖像嵌入。 （為簡短而省略了代碼。）

>步驟9：將文本嵌入在qdrant

中存儲(chǔ)

>將文本嵌入在QDrant集合中。 （為簡短而省略了代碼。）

>步驟10：將圖像嵌入在qdrant

中

>將圖像嵌入在單獨(dú)的QDrant集合中。 （為簡短而省略了代碼。）

>步驟11：創(chuàng)建一個(gè)多模式獵犬

>創(chuàng)建一個(gè)函數(shù)，以根據(jù)查詢檢索相關(guān)的文本和圖像嵌入。 （為簡短而省略了代碼。）

步驟12：用蘭鏈構(gòu)建多模式抹布

>使用Langchain處理被檢索的數(shù)據(jù)並使用語言模型（例如GPT-4）生成響應(yīng)。 （為簡短而省略了代碼。）

查詢模型

>示例查詢演示了系統(tǒng)從PDF中從文本和圖像中檢索信息的能力。 （示例查詢和輸出省略了，但在原始中存在。

結(jié)論

鑰匙要點(diǎn)

多模式抹布整合了多種數(shù)據(jù)類型，以更全面地理解。 nive vision嵌入統(tǒng)一視覺和文本數(shù)據(jù)以改進(jìn)信息檢索。

該系統(tǒng)使用專門的處理，向量表示和存儲(chǔ)以進(jìn)行有效檢索。

nimic嵌入視力克服了剪輯在單峰任務(wù)中的局限性。
• 常見問題
• （為簡潔而省略了常見問題，但以原始形式存在。）
>

注意：為簡短而省略了代碼片段，但核心功能和步驟仍然準(zhǔn)確地描述了。 原始輸入包含廣泛的代碼；包括所有這些都會(huì)使這一響應(yīng)過長。 請參閱原始輸入以進(jìn)行完整的代碼實(shí)現(xiàn)。

>

以上是用假嵌入增強(qiáng)破布系統(tǒng)的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！