文本嵌入是自然語(yǔ)言處理（NLP）的基石，提供了文本的數(shù)值表示，其中單詞或短語(yǔ)成為真實(shí)數(shù)字的密集向量。這使機(jī)器可以理解語(yǔ)義含義和單詞之間的關(guān)系，從而顯著提高其處理人類語(yǔ)言的能力。

這些嵌入對(duì)于文本分類，信息檢索和語(yǔ)義相似性檢測(cè)等任務(wù)至關(guān)重要。 Openai推薦了ADA V2模型來(lái)創(chuàng)建它們，從而利用GPT系列的強(qiáng)度來(lái)捕獲文本中的上下文含義和關(guān)聯(lián)。

在繼續(xù)之前，假定對(duì)OpenAI的API和openai Python軟件包的熟悉程度（請(qǐng)參閱“使用Python中的OpenAI API使用GPT-3.5和GPT-4”以獲取指導(dǎo)。了解聚類，尤其是K-均值，也很有幫助（請(qǐng)參閱“與Scikit-Learn在Python中介紹K-Means聚類的簡(jiǎn)介”）。

文本嵌入的應(yīng)用：

文本嵌入在許多領(lǐng)域中找到應(yīng)用程序，包括：

• 文本分類：建立精確的模型，以進(jìn)行情感分析或主題標(biāo)識(shí)。
• 信息檢索：檢索與特定查詢相關(guān)的信息，模仿搜索引擎功能。
• 語(yǔ)義相似性檢測(cè)：識(shí)別和量化文本片段之間的語(yǔ)義相似性。
• 建議系統(tǒng)：通過(guò)了解文本交互中的用戶偏好來(lái)增強(qiáng)建議質(zhì)量。
• 文本生成：生成更連貫和上下文相關(guān)的文本。
• 機(jī)器翻譯：通過(guò)捕獲跨語(yǔ)義語(yǔ)義含義來(lái)改善機(jī)器翻譯質(zhì)量。

設(shè)置和安裝：

需要以下python軟件包： os ， openai ， scipy.spatial.distance ， sklearn.cluster.KMeans和umap.UMAP 。使用：

 PIP安裝-U Openai Scipy Plotly-Express Scikit-Learn Umap-learn

導(dǎo)入所需的庫(kù)：

導(dǎo)入操作系統(tǒng)
進(jìn)口Openai
從scipy.Spatial進(jìn)口距離
導(dǎo)入plotly.extress為px
來(lái)自Sklearn.Cluster Import Kmeans
來(lái)自UMAP進(jìn)口UMAP

配置您的OpenAI API密鑰：

 openai.api_key =”<your_api_key_here> “</your_api_key_here>

（請(qǐng)記住要替換<your_api_key_here></your_api_key_here>使用您的實(shí)際鑰匙。）

生成嵌入：

該輔助功能使用text-embedding-ada-002模型生成嵌入：

 def get_embedding（text_to_embed）：
    響應(yīng)= openai.embedding.create（
        型號(hào)=“ text-embedding-ada-002”，
        輸入= [text_to_embed]
    ）
    嵌入=響應(yīng)[“數(shù)據(jù)”] [0] [“嵌入”]
    返回嵌入

數(shù)據(jù)集和分析：

此示例使用Amazon樂(lè)器評(píng)論數(shù)據(jù)集（可在Kaggle或作者的GitHub上找到）。為了提高效率，使用了100個(gè)評(píng)論的樣本。

導(dǎo)入大熊貓作為pd

data_url =“ https://raw.githubusercontent.com/keitazoumana/experimentation-data/main/main/musical_instruments_reviews.csv”
評(píng)論_df = pd.read_csv（data_url）[['eviewText']]
評(píng)論_df =評(píng)論_df.sample（100）
評(píng)論_df [“嵌入”] = eview_df [“評(píng)論Text”]。astype（str）.apply（get_embedding）
評(píng)論_df.Reset_index（drop = true，inplace = true）

語(yǔ)義相似性：

使用scipy.spatial.distance.pdist()計(jì)算的歐幾里得距離測(cè)量了回顧嵌入之間的相似性。較小的距離表示更大的相似性。

聚類分析（K-均值）：

K-均值聚類小組類似評(píng)論。在這里，使用了三個(gè)集群：

 kmeans = kmeans（n_clusters = 3）
kmeanss.fit（review_df [“嵌入”]。tolist（））

減少維度（UMAP）：

UMAP將嵌入維度降低至兩個(gè)以進(jìn)行可視化：

還原= umap（）
embeddings_2d = reducer.fit_transform（eview_df [“ embedding”]。tolist（））

可視化：

一個(gè)散點(diǎn)圖可視化簇：

無(wú)花果= px.scatter（x = embeddings_2d [：，0]，y = embeddings_2d [：，1]，color = kmeans.labels_）
圖show（） 

進(jìn)一步探索：

要進(jìn)行高級(jí)學(xué)習(xí)，請(qǐng)?zhí)剿魑⒄{(diào)GPT-3和OpenAI API備忘單上的數(shù)據(jù)掃描資源。

代碼示例以更簡(jiǎn)潔和有組織的方式提出，以提高可讀性和理解。根據(jù)要求包含圖像。

以上是使用OpenAI API利用文本嵌入：實(shí)用指南的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！