作為一位多產(chǎn)的作家，我邀請(qǐng)您在亞馬遜上探索我的書(shū)籍。 請(qǐng)記得在 Medium 上關(guān)注我，以獲得持續(xù)的支持和更新。感謝您的寶貴支持！

多年專注於文字處理和分析的 Python 開(kāi)發(fā)教會(huì)了我高效技術(shù)的重要性。 本文重點(diǎn)介紹了我經(jīng)常用來(lái)提高 NLP 專案效能的六種高階 Python 方法。

正規(guī)表示式（重新模組）

正規(guī)表示式對(duì)於模式比對(duì)和文字操作是不可或缺的。 Python 的 re 模組提供了一個(gè)強(qiáng)大的工具包。掌握正規(guī)表示式可以簡(jiǎn)化複雜的文字處理。

例如，提取電子郵件地址：

import re

text = "Contact us at info@example.com or support@example.com"
email_pattern = r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'
emails = re.findall(email_pattern, text)
print(emails)

輸出：['info@example.com', 'support@example.com']

正規(guī)表示式也擅長(zhǎng)文字替換。 將美元金額轉(zhuǎn)換為歐元：

text = "The price is .99"
new_text = re.sub(r'$(\d+\.\d{2})', lambda m: f"€{float(m.group(1))*0.85:.2f}", text)
print(new_text)

輸出："The price is €9.34"

字串模組實(shí)用程式

Python 的 string 模組雖然不如 re 突出，但為文字處理提供了有用的常數(shù)和函數(shù)，例如建立翻譯表或處理字串常數(shù)。

刪除標(biāo)點(diǎn)符號(hào)：

import string

text = "Hello, World! How are you?"
translator = str.maketrans("", "", string.punctuation)
cleaned_text = text.translate(translator)
print(cleaned_text)

輸出："Hello World How are you"

用於序列比較的difflib

比較字串或辨識(shí)相似之處很常見(jiàn)。 difflib 提供序列比較工具，非常適合此目的。

找相似詞：

from difflib import get_close_matches

words = ["python", "programming", "code", "developer"]
similar = get_close_matches("pythonic", words, n=1, cutoff=0.6)
print(similar)

輸出：['python']

SequenceMatcher 處理更複雜的比較：

from difflib import SequenceMatcher

def similarity(a, b):
    return SequenceMatcher(None, a, b).ratio()

print(similarity("python", "pyhton"))

輸出：（約）0.83

模糊匹配的編輯距離

Levenshtein 距離演算法（通常使用 python-Levenshtein 函式庫(kù)）對(duì)於拼字檢查和模糊配對(duì)至關(guān)重要。

拼字檢查：

import Levenshtein

def spell_check(word, dictionary):
    return min(dictionary, key=lambda x: Levenshtein.distance(word, x))

dictionary = ["python", "programming", "code", "developer"]
print(spell_check("progamming", dictionary))

輸出："programming"

找類似字串：

def find_similar(word, words, max_distance=2):
    return [w for w in words if Levenshtein.distance(word, w) <= max_distance]

print(find_similar("code", ["code", "coder", "python"]))

輸出：['code', 'coder']

ftfy 用於文字編碼修復(fù)

ftfy 函式庫(kù)解決編碼問(wèn)題，自動(dòng)偵測(cè)並修正 mojibake 等常見(jiàn)問(wèn)題。

修補(bǔ) mojibake：

import ftfy

text = "The Mona Lisa doesn?￠a??a?￠t have eyebrows."
fixed_text = ftfy.fix_text(text)
print(fixed_text)

輸出："The Mona Lisa doesn't have eyebrows."

標(biāo)準(zhǔn)化 Unicode：

weird_text = "Ｔｈｉｓ ｉｓ Ｆｕｌｌｗｉｄｔｈ ｔｅｘｔ"
normal_text = ftfy.fix_text(weird_text)
print(normal_text)

輸出："This is Fullwidth text"

使用 spaCy 和 NLTK 進(jìn)行高效標(biāo)記??化

標(biāo)記化是 NLP 的基礎(chǔ)。 spaCy 和 NLTK 提供了超越簡(jiǎn)單 split() 的高階標(biāo)記化功能。

使用 spaCy 進(jìn)行標(biāo)記化：

import re

text = "Contact us at info@example.com or support@example.com"
email_pattern = r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'
emails = re.findall(email_pattern, text)
print(emails)

輸出：['The', 'quick', 'brown', 'fox', 'jumps', 'over', 'the', 'lazy', 'dog', '.']

NLTK 的 word_tokenize：

text = "The price is .99"
new_text = re.sub(r'$(\d+\.\d{2})', lambda m: f"€{float(m.group(1))*0.85:.2f}", text)
print(new_text)

輸出：（類似spaCy）

實(shí)際應(yīng)用與最佳實(shí)務(wù)

這些技巧適用於文字分類、情緒分析和資訊檢索。 對(duì)於大型資料集，優(yōu)先考慮記憶體效率（生成器），利用多處理來(lái)處理CPU 密集型任務(wù)，使用適當(dāng)?shù)馁Y料結(jié)構(gòu)（用於成員測(cè)試的集），編譯正則表達(dá)式以供重複使用，並利用pandas等庫(kù)進(jìn)行CSV 處理。

透過(guò)實(shí)施這些技術(shù)和最佳實(shí)踐，您可以顯著提高文字處理工作流程的效率和有效性。請(qǐng)記住，持續(xù)的練習(xí)和實(shí)驗(yàn)是掌握這些寶貴技能的關(guān)鍵。

101本書(shū)

101 Books 是一家由 Aarav Joshi 共同創(chuàng)立的人工智慧出版社，借助先進(jìn)的人工智慧技術(shù)提供價(jià)格實(shí)惠、高品質(zhì)的書(shū)籍。 看看亞馬遜上的 Golang 乾淨(jìng)程式碼。 搜尋“Aarav Joshi”以了解更多書(shū)籍和特別折扣！

我們的創(chuàng)作

投資者中心、投資者中心（西班牙語(yǔ)/德語(yǔ)）、智慧生活、時(shí)代與迴聲、令人費(fèi)解的奧秘、印度教、精英開(kāi)發(fā)、JS 學(xué)校

我們?cè)?Medium

Tech Koala Insights、Epochs & Echoes World、Investor Central Medium、Puzzling Mysteries Medium、Science & Epochs Medium、Modern Hindutva

以上是用於高效文字處理和分析的先進(jìn) Python 技術(shù)的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！