本文解釋了術(shù)語“頻率分析”頻率（TF-IDF）技術(shù)，這是一種自然語言處理（NLP）的關(guān)鍵工具，用於分析文本數(shù)據(jù)。 TF-IDF通過基於文檔中的頻率加權(quán)術(shù)語來超越基本單詞袋方法的局限性，並在文檔集合中稀有。這種增強(qiáng)的權(quán)重改善了文本分類，並提高了機(jī)器學(xué)習(xí)模型的分析能力。我們將演示如何從Python中從頭開始構(gòu)建TF-IDF模型並執(zhí)行數(shù)值計算。

目錄

• TF-IDF中的關(guān)鍵術(shù)語
• 解釋的術(shù)語頻率（TF）
• 文檔頻率（DF）解釋了
• 逆文件頻率（IDF）解釋了
• 了解TF-IDF
  • 數(shù)值TF-IDF計算
  • 步驟1：計算術(shù)語頻率（TF）
  • 步驟2：計算逆文檔頻率（IDF）
  • 步驟3：計算TF-IDF
• 使用內(nèi)置數(shù)據(jù)集實現(xiàn)Python
  • 步驟1：安裝必要的庫
  • 步驟2：導(dǎo)入庫
  • 步驟3：加載數(shù)據(jù)集
  • 步驟4：初始化TfidfVectorizer
  • 步驟5：安裝和轉(zhuǎn)換文檔
  • 步驟6：檢查TF-IDF矩陣
• 結(jié)論
• 常見問題

TF-IDF中的關(guān)鍵術(shù)語

在繼續(xù)之前，讓我們定義關(guān)鍵術(shù)語：

• t ：術(shù)語（單詞）
• D ：文檔（一組單詞）
• N ：語料庫中的文檔總數(shù)
• 語料庫：整個文檔集合

解釋的術(shù)語頻率（TF）

術(shù)語頻率（TF）量化特定文檔中一個項出現(xiàn)的頻率。更高的TF表明該文檔中的重要性更大。公式是：

文檔頻率（DF）解釋了

文檔頻率（DF）測量包含特定術(shù)語的語料庫中的文檔數(shù)量。與TF不同，它計算出一個術(shù)語的存在，而不是其出現(xiàn)。公式是：

df（t）=包含術(shù)語t的文檔數(shù)量

逆文件頻率（IDF）解釋了

逆文檔頻率（IDF）評估單詞的信息性。雖然TF平等地對待所有術(shù)語，但I(xiàn)DF會減小常用單詞（例如停止單詞）和上級稀有術(shù)語。公式是：

其中n是文檔總數(shù)，而df（t）是包含術(shù)語t的文檔數(shù)量。

了解TF-IDF

TF-IDF結(jié)合了項頻率和反向文檔頻率，以確定文檔中相對於整個語料庫的術(shù)語意義。公式是：

數(shù)值TF-IDF計算

讓我們用示例文檔說明數(shù)值TF-IDF計算：

文件：

1. “天空是藍(lán)色的?！?/li>
2. “今天的陽光很燦爛?！?/li>
3. “天空中的陽光很燦爛?！?/li>
4. “我們可以看到閃閃發(fā)光的陽光，燦爛的陽光?！?/li>

按照原始文本中概述的步驟，我們計算每個文檔中每個術(shù)語的TF，IDF，然後計算TF-IDF。 （此處省略了詳細(xì)的計算，但它們反映了原始示例。）

使用內(nèi)置數(shù)據(jù)集實現(xiàn)Python

本節(jié)將使用Scikit-Learn的TfidfVectorizer和20個新聞組數(shù)據(jù)集進(jìn)行了TF-IDF計算。

步驟1：安裝必要的庫

PIP安裝Scikit-Learn

步驟2：導(dǎo)入庫

導(dǎo)入大熊貓作為pd
來自sklearn.datasets import fetch_20newsgroups
來自sklearn.feature_extraction.text導(dǎo)入tfidfvectorizer

步驟3：加載數(shù)據(jù)集

newsgroups = fetch_20newsgroups（subset ='train'）

步驟4：初始化TfidfVectorizer

 vectorizer = tfidfvectorizer（stop_words ='英語'，max_features = 1000）

步驟5：安裝和轉(zhuǎn)換文檔

tfidf_matrix = vectorizer.fit_transform（newsgroups.data）

步驟6：檢查TF-IDF矩陣

df_tfidf = pd.dataframe（tfidf_matrix.toArray（），columns = vectorizer.get_feature_names_out（））
df_tfidf.head（） 

結(jié)論

使用20個新聞組數(shù)據(jù)集和TfidfVectorizer ，我們有效地將文本文檔轉(zhuǎn)換為TF-IDF矩陣。該矩陣表示每個術(shù)語的重要性，從而實現(xiàn)了各種NLP任務(wù)，例如文本分類和聚類。 Scikit-Learn的TfidfVectorizer顯著簡化了這一過程。

常見問題

常見問題解答部分在很大程度上保持不變，解決了IDF的對數(shù)性質(zhì)，對大數(shù)據(jù)集的可擴(kuò)展性，TF-IDF的局限性（忽略單詞順序和上下文）以及常見的應(yīng)用程序（搜索引擎，文本分類，群集，群集，摘要）。

以上是將文本文檔轉(zhuǎn)換為帶有TFIDFECTORIZER的TF-IDF矩陣的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！