文本嵌入是自然語言處理（NLP）的基石，提供了文本的數(shù)值表示，其中單詞或短語成為真實數(shù)字的密集向量。這使機器可以理解語義含義和單詞之間的關(guān)係，從而顯著提高其處理人類語言的能力。

這些嵌入對於文本分類，信息檢索和語義相似性檢測等任務(wù)至關(guān)重要。 Openai推薦了ADA V2模型來創(chuàng)建它們，從而利用GPT系列的強度來捕獲文本中的上下文含義和關(guān)聯(lián)。

在繼續(xù)之前，假定對OpenAI的API和openai Python軟件包的熟悉程度（請參閱“使用Python中的OpenAI API使用GPT-3.5和GPT-4”以獲取指導(dǎo)。了解聚類，尤其是K-均值，也很有幫助（請參閱“與Scikit-Learn在Python中介紹K-Means聚類的簡介”）。

文本嵌入的應(yīng)用：

文本嵌入在許多領(lǐng)域中找到應(yīng)用程序，包括：

• 文本分類：建立精確的模型，以進(jìn)行情感分析或主題標(biāo)識。
• 信息檢索：檢索與特定查詢相關(guān)的信息，模仿搜索引擎功能。
• 語義相似性檢測：識別和量化文本片段之間的語義相似性。
• 建議系統(tǒng)：通過了解文本交互中的用戶偏好來增強建議質(zhì)量。
• 文本生成：生成更連貫和上下文相關(guān)的文本。
• 機器翻譯：通過捕獲跨語義語義含義來改善機器翻譯質(zhì)量。

設(shè)置和安裝：

需要以下python軟件包： os ， openai ， scipy.spatial.distance ， sklearn.cluster.KMeans和umap.UMAP 。使用：

 PIP安裝-U Openai Scipy Plotly-Express Scikit-Learn Umap-learn

導(dǎo)入所需的庫：

導(dǎo)入操作系統(tǒng)
進(jìn)口Openai
從scipy.Spatial進(jìn)口距離
導(dǎo)入plotly.extress為px
來自Sklearn.Cluster Import Kmeans
來自UMAP進(jìn)口UMAP

配置您的OpenAI API密鑰：

 openai.api_key =”<your_api_key_here> “</your_api_key_here>

（請記住要替換<your_api_key_here></your_api_key_here>使用您的實際鑰匙。）

生成嵌入：

該輔助功能使用text-embedding-ada-002模型生成嵌入：

 def get_embedding（text_to_embed）：
    響應(yīng)= openai.embedding.create（
        型號=“ text-embedding-ada-002”，
        輸入= [text_to_embed]
    ）
    嵌入=響應(yīng)[“數(shù)據(jù)”] [0] [“嵌入”]
    返回嵌入

數(shù)據(jù)集和分析：

此示例使用Amazon樂器評論數(shù)據(jù)集（可在Kaggle或作者的GitHub上找到）。為了提高效率，使用了100個評論的樣本。

導(dǎo)入大熊貓作為pd

data_url =“ https://raw.githubusercontent.com/keitazoumana/experimentation-data/main/main/musical_instruments_reviews.csv”
評論_df = pd.read_csv（data_url）[['eviewText']]
評論_df =評論_df.sample（100）
評論_df [“嵌入”] = eview_df [“評論Text”]。astype（str）.apply（get_embedding）
評論_df.Reset_index（drop = true，inplace = true）

語義相似性：

使用scipy.spatial.distance.pdist()計算的歐幾里得距離測量了回顧嵌入之間的相似性。較小的距離表示更大的相似性。

聚類分析（K-均值）：

K-均值聚類小組類似評論。在這裡，使用了三個集群：

 kmeans = kmeans（n_clusters = 3）
kmeanss.fit（review_df [“嵌入”]。tolist（））

減少維度（UMAP）：

UMAP將嵌入維度降低至兩個以進(jìn)行可視化：

還原= umap（）
embeddings_2d = reducer.fit_transform（eview_df [“ embedding”]。tolist（））

可視化：

一個散點圖可視化簇：

無花果= px.scatter（x = embeddings_2d [：，0]，y = embeddings_2d [：，1]，color = kmeans.labels_）
圖show（） 

進(jìn)一步探索：

要進(jìn)行高級學(xué)習(xí)，請?zhí)剿魑⒄{(diào)GPT-3和OpenAI API備忘單上的數(shù)據(jù)掃描資源。

代碼示例以更簡潔和有組織的方式提出，以提高可讀性和理解。根據(jù)要求包含圖像。

以上是使用OpenAI API利用文本嵌入：實用指南的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！