Gemini Embedding：谷歌Gemini AI框架下的多語言文本嵌入模型

對(duì)於印地語等印度語系的自然語言處理(NLP) 任務(wù)（如機(jī)器翻譯、問答和信息檢索）而言，詞嵌入至關(guān)重要。這些嵌入捕捉單詞的語義屬性，從而實(shí)現(xiàn)更準(zhǔn)確、更注重語境的NLP 應(yīng)用。鑑於印地語使用者眾多且印度語係數(shù)字內(nèi)容日益增長(zhǎng)，高質(zhì)量的嵌入對(duì)於提高這些語言的NLP 性能至關(guān)重要。定制化的嵌入可以特別解決印度語系的獨(dú)特語言特徵和資源限制問題。新發(fā)布的Gemini Embedding 模型代表了多語言文本嵌入的重大進(jìn)步，它利用谷歌強(qiáng)大的Gemini AI 框架，在100 多種語言中實(shí)現(xiàn)了最先進(jìn)的性能。

Gemini Embedding 模型擅長(zhǎng)分類、檢索和語義搜索等任務(wù)，提供更高的效率和準(zhǔn)確性。通過支持更大的輸入規(guī)模和更高維度的輸出，Gemini Embedding 提供更豐富的文本表示，使其能夠廣泛應(yīng)用於各種應(yīng)用。

學(xué)習(xí)目標(biāo)

• 了解Gemini 嵌入及其與Gemini LLM 的集成。
• 使用Gemini 嵌入檢索印地語文檔的實(shí)踐教程。
• 與Jina AI 嵌入和Multilingual-e5-large 的比較分析。
• 對(duì)多語言文本檢索能力和應(yīng)用的見解。

*本文作為***數(shù)據(jù)科學(xué)博客馬拉松的一部分發(fā)表。 ***

目錄

• 什麼是Gemini 嵌入？
• Gemini 嵌入的關(guān)鍵特性
• Gemini 嵌入的模型架構(gòu)
• 與其他多語言嵌入模型的比較
• 使用Gemini 嵌入進(jìn)行檢索，並與Jina AI 嵌入和Multilingual-e5-large 進(jìn)行比較
  • 步驟1. 安裝必要的庫
  • 步驟2. 加載數(shù)據(jù)
  • 步驟3. 對(duì)數(shù)據(jù)進(jìn)行分塊
  • 步驟4. 將數(shù)據(jù)存儲(chǔ)在向量數(shù)據(jù)庫中
  • 步驟5. 查詢數(shù)據(jù)庫
  • 步驟6. 與Jina AI 嵌入進(jìn)行比較
• 嵌入檢索輸出的比較
  • 解釋
• 結(jié)論
• 常見問題

什麼是Gemini 嵌入？

2025 年3 月，谷歌發(fā)布了一個(gè)新的實(shí)驗(yàn)性Gemini Embedding 文本模型(gemini-embedding-exp-03-07)，可在Gemini API 中使用。

該高級(jí)嵌入模型源於Gemini 模型，據(jù)稱繼承了Gemini 對(duì)語言和細(xì)微語境細(xì)微差別的深刻理解，使其能夠廣泛應(yīng)用於各種應(yīng)用。它在MTEB 多語言排行榜上佔(zhàn)據(jù)榜首。

Gemini Embedding 將文本表示為密集向量，其中語義相似的文本輸入映射到向量空間中彼此靠近的向量。目前，它支持100 多種語言，其嵌入可用於各種任務(wù)，例如檢索和分類。

Gemini 嵌入的關(guān)鍵特性

• 強(qiáng)大的多語言能力: 該模型在100 多種語言中展現(xiàn)出卓越的性能，不僅在英語等高資源語言中表現(xiàn)出色，而且在阿薩姆語和馬其頓語等低資源語言中也表現(xiàn)出色。
• 處理多達(dá)8000 個(gè)輸入標(biāo)記: 這種強(qiáng)大的能力使模型能夠無縫處理冗長(zhǎng)的文檔或複雜的查詢，而不會(huì)截?cái)?，從而以超越許多現(xiàn)有嵌入模型的方式保持上下文和含義。
• 3K 維的輸出維度: 該模型生成的嵌入維度高達(dá)3072，並支持768 和1536 等子維度，以便進(jìn)行特定於任務(wù)的優(yōu)化。
• 令人印象深刻的性能: Gemini Embedding 在海量文本嵌入基準(zhǔn)測(cè)試(MTEB) 中排名第一，平均任務(wù)得分為68.32，大大超過了其最接近的競(jìng)爭(zhēng)對(duì)手。

Gemini 嵌入的模型架構(gòu)

Gemini Embedding 的核心是基於Transformer 架構(gòu)，並從Gemini LLM 初始化。這個(gè)基礎(chǔ)為模型提供了對(duì)語言結(jié)構(gòu)和語義的深刻理解。該模型使用雙向注意力機(jī)制來處理輸入序列，使其在生成嵌入時(shí)能夠考慮單詞或短語的完整上下文。

1. 輸入序列T 由M（一個(gè)具有雙向注意力的Transformer，從Gemini 初始化）處理，產(chǎn)生一個(gè)標(biāo)記嵌入序列。
2. 為了生成一個(gè)表示輸入中所有信息的單個(gè)嵌入，應(yīng)用池化函數(shù)。
3. 最後，應(yīng)用線性投影將嵌入縮放至目標(biāo)維度，從而產(chǎn)生最終輸出嵌入。

損失函數(shù): Gemini Embedding 模型使用帶批內(nèi)負(fù)例的噪聲對(duì)比估計(jì)(NCE) 損失進(jìn)行訓(xùn)練。確切的損失會(huì)根據(jù)訓(xùn)練階段略有不同。一般來說，一個(gè)訓(xùn)練示例包括一個(gè)查詢、一個(gè)正目標(biāo)和（可選）一個(gè)難負(fù)目標(biāo)。

訓(xùn)練策略

1. 預(yù)微調(diào): 在此階段，模型在一個(gè)包含查詢-目標(biāo)對(duì)的大型多樣化數(shù)據(jù)集上進(jìn)行訓(xùn)練。這種曝光調(diào)整大型語言模型的參數(shù)以進(jìn)行編碼任務(wù)，為其適應(yīng)性奠定基礎(chǔ)。
2. 微調(diào): 在第二階段，模型使用包含查詢-正例-難負(fù)例三元組的特定於任務(wù)的數(shù)據(jù)集進(jìn)行微調(diào)。此過程使用較小的批量大小和精心策劃的數(shù)據(jù)集來提高目標(biāo)任務(wù)的性能。

另請(qǐng)閱讀：Gemini Embedding：來自Gemini 的通用嵌入

與其他多語言嵌入模型的比較

我們將印地語文檔的檢索與新發(fā)布的最新Gemini 嵌入進(jìn)行比較，然後將其與Jina AI 嵌入和Multilingual-e5-large 嵌入進(jìn)行比較。如下表所示，就最大標(biāo)記數(shù)而言，Gemini 嵌入和Jina AI 嵌入很高，使模型能夠處理長(zhǎng)文檔或複雜的查詢。此外，如下表所示，Gemini 嵌入具有更高的嵌入維度，可以捕捉單詞之間更細(xì)緻和更細(xì)微的語義關(guān)係，使模型能夠表示複雜的語言模式和含義的細(xì)微差別。

使用Gemini 嵌入進(jìn)行檢索，並與Jina AI 嵌入和Multilingual-e5-large 進(jìn)行比較

在以下實(shí)踐教程中，我們將印地語文檔的檢索與新發(fā)布的最新Gemini 嵌入進(jìn)行比較，然後將其與Jina AI 嵌入和Multilingual-e5-large 嵌入進(jìn)行比較。

步驟1. 安裝必要的庫

<code>!pip install langchain-community !pip install chromadb</code>

步驟2. 加載數(shù)據(jù)

我們使用來自網(wǎng)站的印地語數(shù)據(jù)來評(píng)估Gemini 嵌入在印地語語言檢索方面的性能。

 <code>from langchain_community.document_loaders import WebBaseLoader loader = WebBaseLoader("https://ckbirlahospitals.com/rbh/blog/pregnancy-early-symptoms-in-hindi") data = loader.load()</code>

步驟3. 對(duì)數(shù)據(jù)進(jìn)行分塊

下面的代碼使用RecursiveCharacterTextSplitter 將大型文本文檔拆分成500 個(gè)字符的小塊，沒有重疊。然後，它將此拆分應(yīng)用於datavariable 並將結(jié)果存儲(chǔ)在all_splits 中。由於Gemini Embedding API 的速率限制，我們只使用10 個(gè)拆分。

 <code>from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0) all_splits = text_splitter.split_documents(data) all_splits = all_splits[:10]</code>

步驟4. 將數(shù)據(jù)存儲(chǔ)在向量數(shù)據(jù)庫中

我們首先創(chuàng)建一個(gè)名為“GeminiEmbeddingFunction”的類，它有助於查詢Gemini Embedding API 並返回輸入查詢的嵌入值。然後，我們創(chuàng)建一個(gè)名為“create_chroma_db”的函數(shù)，用於在ChromaDB 中創(chuàng)建一個(gè)集合，該集合將存儲(chǔ)數(shù)據(jù)以及嵌入。

 <code>import chromadb from chromadb import Documents, EmbeddingFunction, Embeddings class GeminiEmbeddingFunction(EmbeddingFunction): def __call__(self, input: Documents) -> Embeddings: title = "Custom query" return client.models.embed_content( model="gemini-embedding-exp-03-07", contents=input).embeddings[0].values def create_chroma_db(documents, name): chroma_client = chromadb.Client() db = chroma_client.create_collection(name=name, embedding_function=GeminiEmbeddingFunction()) for i, d in enumerate(documents): db.add( documents=d.page_content, ids=str(i) ) return db db = create_chroma_db(all_splits, "datab")</code>

步驟5. 查詢數(shù)據(jù)庫

<code>def get_relevant_passage(query, db): passage = db.query(query_texts=[query], n_results=1)['documents'][0][0] return passage passage = get_relevant_passage("???? ?????????? ????? ?? ?????? ??????", db) print(passage)</code>

步驟6. 與Jina AI 嵌入進(jìn)行比較

下面的代碼使用Hugging Face transformer 模型定義了一個(gè)自定義嵌入函數(shù)，以及一種處理文本輸入以生成嵌入的方法。

1. 來自transformers 的AutoTokenizer 和AutoModel 用於加載預(yù)訓(xùn)練模型(jinaai/jina-embeddings-v3)，並從chromadb 導(dǎo)入EmbeddingFunction 用於創(chuàng)建自定義嵌入。
2. average_pool 函數(shù)：此函數(shù)通過對(duì)模型的隱藏狀態(tài)執(zhí)行池化操作來聚合它們，在考慮注意力掩碼（忽略填充標(biāo)記）的同時(shí)對(duì)序列長(zhǎng)度取平均值。
3. CustomHuggingFace 類：它對(duì)文本進(jìn)行標(biāo)記化，將其饋送到模型中，並使用average_pool 函數(shù)計(jì)算嵌入。結(jié)果作為嵌入列表返回。

 <code>from transformers import AutoTokenizer, AutoModel from chromadb import EmbeddingFunction tokenizer = AutoTokenizer.from_pretrained('jinaai/jina-embeddings-v3') model = AutoModel.from_pretrained('jinaai/jina-embeddings-v3') # the model returns many hidden states per document so we must aggregate them def average_pool(last_hidden_states, attention_mask): last_hidden = last_hidden_states.masked_fill(~attention_mask[...,None].bool(), 0.0) return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[...,None] class CustomHuggingFace(EmbeddingFunction): def __call__(self, texts): queries = [f'query: {text}' for text in texts] batch_dict = tokenizer(texts, max_length=512, padding=True, truncation=True, return_tensors='pt') outputs = model(**batch_dict) embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask']) return embeddings.tolist()</code>

查詢

<code>def get_relevant_passage(query, db): passage = db.query(query_texts=[query], n_results=1)['documents'][0][0] return passage passage = get_relevant_passage("???? ?????????? ????? ?? ?????? ??????", db) print(passage)</code>

對(duì)於選擇Multilingual-e5-large 嵌入，我們只需將標(biāo)記器和模型替換為“intfloat/multilingual-e5-large-instruct”。

嵌入檢索輸出的比較

解釋

從上述印地語輸出中可以看出，使用Gemini 嵌入，我們從7 個(gè)查詢中得到了5 個(gè)正確的輸出，而使用Jina AI 嵌入和Multilingual-e5-large，我們只得到了3 個(gè)正確的響應(yīng)。

這表明，正如MTEB 基準(zhǔn)測(cè)試所反映的那樣，Gemini 嵌入可以很好地執(zhí)行，並且比其他嵌入模型更好地處理印地語等多語言。

結(jié)論

總之，Gemini 嵌入代表了多語言NLP 的重大進(jìn)步，特別是對(duì)於印地語等印度語系語言。憑藉其強(qiáng)大的多語言能力、對(duì)大型輸入尺寸的支持以及在MTEB 等基準(zhǔn)測(cè)試中的卓越性能，Gemini 在檢索、分類和語義搜索等任務(wù)中表現(xiàn)出色。通過實(shí)踐比較可以看出，Gemini 的性能優(yōu)於其他模型，提供更高的準(zhǔn)確性和效率，使其成為促進(jìn)多種語言NLP 的寶貴工具。

主要收穫

• 印地語系語言詞嵌入的重要性: 高質(zhì)量的嵌入增強(qiáng)了翻譯、問答和檢索等NLP 任務(wù)，解決了語言挑戰(zhàn)和資源差距問題。
• Gemini Embedding 模型: 谷歌的Gemini 嵌入利用其AI 框架進(jìn)行多語言文本處理，涵蓋100 多種語言，包括低資源語言。
• 關(guān)鍵特性: 支持8000 個(gè)標(biāo)記和3072 維嵌入，能夠高效處理長(zhǎng)文檔和復(fù)雜查詢。
• 令人印象深刻的性能: 在MTEB 多語言排行榜上排名第一，平均任務(wù)得分為68.32，展示了其在多語言NLP 中的強(qiáng)大功能。

本文中顯示的媒體並非Analytics Vidhya 所有，作者可自行決定使用。

常見問題

Q1. 什麼是Gemini Embedding 模型？答：Gemini Embedding 模型基於谷歌的Gemini AI，為包括印地語在內(nèi)的100 多種語言提供頂級(jí)多語言文本嵌入。

Q2. 與其他模型相比，Gemini Embedding 的獨(dú)特之處是什麼？答：Gemini Embedding 在多語言支持方面表現(xiàn)出色，可以處理8000 個(gè)標(biāo)記，並輸出3072 維，確保在分類、檢索和語義搜索方面的效率。

Q3. Gemini Embedding 在多語言任務(wù)中的表現(xiàn)如何？答：Gemini Embedding 在英語等高資源語言和阿薩姆語、馬其頓語等低資源語言中的表現(xiàn)都很好。它在MTEB 多語言排行榜上排名第一，展示了其強(qiáng)大的多語言能力。

Q4. Gemini Embedding 模型的架構(gòu)是什麼？答：該模型從Gemini LLM 初始化，使用具有雙向注意力的Transformer 架構(gòu)來生成高質(zhì)量的文本嵌入，捕捉上下文和含義。

Q5. Gemini Embedding 模型是如何訓(xùn)練的？答：Gemini Embedding 使用帶批內(nèi)負(fù)例的噪聲對(duì)比估計(jì)(NCE) 損失進(jìn)行訓(xùn)練。它經(jīng)歷了兩個(gè)訓(xùn)練階段：在一個(gè)大型數(shù)據(jù)集上進(jìn)行預(yù)微調(diào)，並在特定於任務(wù)的數(shù)據(jù)集上進(jìn)行微調(diào)，以提高NLP 性能。

以上是與多語言E5-Large和Jina嵌入雙子座的比較的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！