• Python
• 圖書(shū)館：NLTK和Spacy
• Pytesseract
• 枕頭庫(kù)
• 圖像或PDF文件
• pdfumber或pypdf2

• 安裝Pytesseract OCR機(jī)器。
• 安裝圖書(shū)館枕頭
• 安裝用於令牌化（或spacy）的安裝
• 下載Tesseract並配置路徑

• 預(yù)處理圖像以增強(qiáng)OCR性能
• 從PDF文件中獲取文字
• 從pdfplumber提取文本
• 標(biāo)準(zhǔn)令牌以保持一致性
• 常見(jiàn)問(wèn)題

簡(jiǎn)歷數(shù)據(jù)提取的基本工具

為了有效地從簡(jiǎn)歷和簡(jiǎn)歷中提取數(shù)據(jù)，利用正確的工具對(duì)於簡(jiǎn)化過(guò)程並確保準(zhǔn)確性至關(guān)重要。本節(jié)將重點(diǎn)介紹提高簡(jiǎn)歷數(shù)據(jù)提取效率的關(guān)鍵庫(kù)和技術(shù)，從而獲得更好的分析和候選概況的見(jiàn)解。

Python

它具有可以將句子或段落分為單詞的庫(kù)或方法。在Python中，您可以使用不同的庫(kù)和方法（例如Split（）（基本令牌）或自然語(yǔ)言工具包（NLTK）和Spacy庫(kù)來(lái)實(shí)現(xiàn)單詞令牌化，以進(jìn)行更高級(jí)的代幣化。

簡(jiǎn)單的令牌化（句子的拆分）無(wú)法識(shí)別標(biāo)點(diǎn)符號(hào)和其他特殊字符。

句子=“今天是美好的一天！”。
句子.split（）
['今天'，'is'，'a'，'美麗'，'day！ 。

圖書(shū)館：NLTK和Spacy

Python具有更強(qiáng)大的令牌化工具（自然語(yǔ)言工具包（NLTK）。

在NLTK（自然語(yǔ)言工具包）中，Punkt Tokenizer通過(guò)使用預(yù)先訓(xùn)練的模型進(jìn)行無(wú)監(jiān)督的句子分裂和單詞令牌化來(lái)積極地將文本引起。

導(dǎo)入NLTK
nltk.download（'punkt'）
來(lái)自nltk import word_tokenize

句子=“今天是美好的一天！”。
句子.split（）
打印（句子）
單詞= word_tokenize（句子）
打?。▎卧~）

[nltk_data]下載pakept punkt到
[nltk_data] C：\ Users \ ss529 \ appdata \ roaming \ nltk_data ...
今天是美好的一天！
['今天'，'is'，'a'，'''，'day'，'！ '，'。 ]
[nltk_data]軟件包punkt已經(jīng)是最新的！

Punkt的主要特徵：

• 它可以將給定的文本歸為句子和單詞，而無(wú)需任何有關(guān)語(yǔ)言的語(yǔ)法或語(yǔ)法的事先信息。
• 它使用機(jī)器學(xué)習(xí)模型來(lái)檢測(cè)句子邊界，這在標(biāo)點(diǎn)符號(hào)不嚴(yán)格分開(kāi)句子的語(yǔ)言中很有用。

Spacy是高級(jí)NLP庫(kù)，可提供準(zhǔn)確的令牌化和其他語(yǔ)言處理功能。

正則表達(dá)式：基於模式的自定義令牌化，但需要手動(dòng)集。

導(dǎo)入
常規(guī)=“ [a-za-z] [\ w]？”
re.findall（常規(guī)，句子）
['今天'，'is'，'a'，'美麗'，'day！ ']

Pytesseract

這是一個(gè)基於Python的光學(xué)字符識(shí)別工具，用於讀取圖像中的文本。

枕頭庫(kù)

一個(gè)用於處理各種圖像格式的開(kāi)源庫(kù)，可用於圖像操作。

圖像或PDF文件

簡(jiǎn)歷可以採(cǎi)用PDF或圖像格式。

pdfumber或pypdf2

要從pdf提取文本並將其化為單詞，您可以在Python中按照以下步驟：

• 使用PYPDF2或PDFPLUMBER等庫(kù)從PDF提取文本。
• 使用任何令牌化方法，例如split（），nltk或spacy，將提取的文本進(jìn)行象徵化。

從PDF文件或圖像中獲取單詞

對(duì)於PDF文件，我們將需要PDF水管工和圖像OCR。

如果您想從圖像中提取文本（而不是PDF），然後根據(jù)不同字段的預(yù)定義單詞進(jìn)行令牌和評(píng)分，則可以通過(guò)以下步驟來(lái)實(shí)現(xiàn)這一目標(biāo)：

安裝Pytesseract OCR機(jī)器。

它將從圖像中提取文本

PIP安裝Pytesseract枕頭NLTK

安裝圖書(shū)館枕頭

它將有助於處理各種圖像。

當(dāng)涉及到Python中的圖像處理和操縱（例如調(diào)整，裁剪或在不同格式之間進(jìn)行轉(zhuǎn)換）時(shí)，通常會(huì)想到的開(kāi)源庫(kù)是枕頭。

讓我們看看枕頭的工作原理，要查看jupyter筆記本中的圖像，我必須使用顯示器，內(nèi)部支架必須存儲(chǔ)持有圖像的變量。

從PIL導(dǎo)入圖像
image = image.open（'art.jfif'）
顯示（圖像）

要調(diào)整圖像大小並保存圖像，使用調(diào)整大小和保存的方法，將寬度設(shè)置為400，高度設(shè)置為450。

枕頭的主要特徵：

• 圖像格式 - 支持不同格式
• 圖像操縱功能 - 可以調(diào)整大小，裁剪圖像，將顏色圖像轉(zhuǎn)換為灰色等。

安裝用於令牌化（或spacy）的安裝

通過(guò)安裝NLTK或SPACY（兩個(gè)有力的自然語(yǔ)言處理中的令牌化庫(kù)）來(lái)發(fā)現(xiàn)如何增強(qiáng)文本處理功能。

下載Tesseract並配置路徑

了解如何從GitHub下載Tesseract，並通過(guò)添加優(yōu)化OCR功能的必要路徑將其無(wú)縫集成到腳本中。

 pytesseract.pytesseract.tesseract_cmd ='c：\ program文件\ tesseract-ocr \ tesseract.exe''''

• macOS：釀造安裝tesseract
• Linux：通過(guò)軟件包管理器安裝（例如Sudo Apt install tesseract-ocr）。
• PIP安裝Pytesseract枕頭

其中有幾種工具是Google開(kāi)發(fā)的開(kāi)源庫(kù)Tesseract，它支持了許多語(yǔ)言和OCR。

Pytesseract用於基於Python的項(xiàng)目，該項(xiàng)目是Tesseract OCR引擎的包裝紙。

圖像和PDF文本提取技術(shù)

在數(shù)字時(shí)代，從圖像和PDF文件中提取文本對(duì)於各種應(yīng)用程序至關(guān)重要，包括數(shù)據(jù)分析和文檔處理。本文探討了預(yù)處理圖像並利用強(qiáng)大的庫(kù)來(lái)增強(qiáng)光學(xué)特徵識(shí)別（OCR）和簡(jiǎn)化各種文件格式的文本提取文本提取的有效技術(shù)。

預(yù)處理圖像以增強(qiáng)OCR性能

預(yù)處理圖像可以按照下面提到的步驟來(lái)改善OCR性能。

• 灰度的圖像：圖像被轉(zhuǎn)換為??灰度，以減少嘈雜的背景，並堅(jiān)定地關(guān)注文本本身，並且對(duì)於具有不同照明條件的圖像很有用。
• 來(lái)自pil Import ImageOps
• 圖像= imageOps.grayscale（圖像）
• 閾值：應(yīng)用二進(jìn)制閾值，通過(guò)將圖像轉(zhuǎn)換為黑白格式來(lái)使文本脫穎而出。
• 調(diào)整大小：高檔較小的圖像以獲得更好的文本識(shí)別。
• 去除噪聲：使用過(guò)濾器（例如，高斯模糊）去除圖像中的噪聲或偽影。

導(dǎo)入NLTK
導(dǎo)入pytesseract
從PIL導(dǎo)入圖像
導(dǎo)入CV2

來(lái)自nltk.tokenize導(dǎo)入word_tokenize

nltk.download（'punkt'）
pytesseract.pytesseract.tesseract_cmd = r'c：\ users \ ss529 \ anaconda3 \ tesseract-ocr \ tesseract.exe'
image =輸入（“文件的名稱：”）
imag = cv2.imread（圖像）
 
#convert到灰度圖像
灰色= cv2.cvtcolor（圖像，cv2.color_bgr2gray）
 
來(lái)自nltk.tokenize導(dǎo)入word_tokenize
def text_from_image（圖像）：
    img = image.open（圖像）
    text = pytesseract.image_to_string（img）
    返回文字
圖像='cv1.png'


text1 = text_from_image（圖像）

＃將提取的文本引起
tokens = word_tokenize（text1）

打?。钆疲?/pre>

要知道有多少個(gè)單詞符合我們將比較的要求並為每個(gè)匹配的單詞提供點(diǎn)數(shù)10。
 ＃將令牌與特定單詞進(jìn)行比較，忽略重複項(xiàng)併計(jì)算得分
def compare_tokens_and_score（令牌，特定_words，corce_per_match = 10）：
    match_words = set（word.lower（lower（），對(duì)於word.lower（）in extile_words）
    total_score = len（fields_keywords） * score_per_match
    返回total_score

＃具有不同技能的領(lǐng)域
fields_keywords = {

    “ data_science_carrier”：{'監(jiān)督機(jī)器學(xué)習(xí)'，'無(wú)監(jiān)督的機(jī)器學(xué)習(xí)'，'data'，'Analysis'，'statistics'，'python'}，
        
}

?；对擃I(lǐng)域的特定單詞得分
def process_image_for_field（圖像，字段）：
    如果字段不在字段_keywords中：
        print（f“ field'{field}'未定義?！保?        返回

    ＃從圖像中提取文字
    text = text_from_image（圖像）
    
    ＃將提取的文本引起
    tokens = tokenize_text（text）
    
    ＃將令牌與所選字段的特定單詞進(jìn)行比較
    特定_words = fields_keywords [field]
    total_score = compare_tokens_and_score（令牌，特定_words）
    打?。╢“ field：{field}”）
    打?。ā翱偡郑骸保瑃otal_score）


圖像='cv1.png' 
field ='data_science_carrier'
為了處理案例敏感性，例如“數(shù)據(jù)科學(xué)”與“數(shù)據(jù)科學(xué)”，我們可以將所有令牌和關(guān)鍵字轉(zhuǎn)換為小寫(xiě)。
 tokens = word_tokenize（extract_text.lower（））
通過(guò)使用NLP庫(kù)（例如NLTK或Stemming）使用Lemmatization，以減少單詞（例如，“運(yùn)行”到“運(yùn)行”）
來(lái)自NLTK.STEM導(dǎo)入WordNetlemmatizer

lemmatizer = wordnetlemmatizer（）

def normalize_tokens（令牌）：
    返回[lemmatizer.lemmatize（token.lower（））代幣中的令牌]

從PDF文件中獲取文字
現(xiàn)在讓我們探索從PDF文件中獲取文本所需的操作。
安裝所需的庫(kù)

您將需要以下庫(kù)：

 PYPDF2
 pdfumber
 Spacy
 NLTK

使用PIP
 PIP安裝pypdf2 pdfplumber nltk spacy
python -m spacy下載en_core_web_sm
用PYDF2提取文本
導(dǎo)入PYPDF2

def text_from_pdf（pdf_file）：
    使用open（pdf_file，'rb'）作為文件：
        讀取器= pypdf2.pdfreader（file）
        文字=“”
        對(duì)於範(fàn)圍（len（reader.pages））的page_num：
            page = reader.pages [page_num]
            text = page.extract_text（）“ \ n”
    返回文字
從pdfplumber提取文本
導(dǎo)入pdfumber

def text_from_pdf（pdf_file）：
    使用pdfplumber.open（pdf_file）作為pdf：
        文字=“”
        對(duì)於PDF中的頁(yè)面：頁(yè)面：
            text = page.extract_text（）“ \ n”
    返回文字
pdf_file ='soniasingla-dataSciencienciencienb-bio.pdf'

＃從PDF提取文本
text = text_from_pdf（pdf_file）

＃將提取的文本引起
tokens = word_tokenize（text）

打?。钆疲?/pre>
標(biāo)準(zhǔn)令牌以保持一致性
要處理PDF文件而不是圖像，並確保重複的單詞未接收多個(gè)分?jǐn)?shù)，請(qǐng)修改上一個(gè)代碼。我們將從pdf文件中提取文本，將其定為圖形，並將令牌與來(lái)自不同字段的特定單詞進(jìn)行比較。代碼將根據(jù)唯一匹配的單詞來(lái)計(jì)算分?jǐn)?shù)。
導(dǎo)入pdfumber
導(dǎo)入NLTK
來(lái)自nltk.tokenize導(dǎo)入word_tokenize


nltk.download（'punkt'）


def extract_text_from_pdf（pdf_file）：
    使用pdfplumber.open（pdf_file）作為pdf：
        文字=“”
        對(duì)於PDF中的頁(yè)面：頁(yè)面：
            text = page.extract_text（）“ \ n”
    返回文字


def tokenize_text（text）：
    tokens = word_tokenize（text）
    返回令牌


def compare_tokens_and_score（令牌，特定_words，corce_per_match = 10）：
    ＃使用集合存儲(chǔ)獨(dú)特的匹配單詞以防止重複
    unique_matched_words = set（word.lower（lower（）for dokens中的單詞if word.lower（）在extile_words中）
    ＃根據(jù)唯一匹配計(jì)算總分
    total_score = len（unique_matched_words） * score_per_match
    返回unique_matched_words，total_score

＃定義不同字段的特定單詞集
fields_keywords = {

    “ data_science_carrier”：{'監(jiān)督機(jī)器學(xué)習(xí)'，'無(wú)監(jiān)督的機(jī)器學(xué)習(xí)'，'data'，'Analysis'，'statistics'，'python'}，
        
    ＃在此處添加更多字段和關(guān)鍵字
}

＃步驟4：選擇字段並根據(jù)該字段的特定單詞計(jì)算分?jǐn)?shù)
def process_pdf_for_field（pdf_file，字段）：
    如果字段不在字段_keywords中：
        print（f“ field'{field}'未定義?！保?        返回
 
    text = extract_from_pdf（pdf_file）
      
    tokens = tokenize_text（text）  
    
    特定_words = fields_keywords [field]
    unique_matched_words，total_score = compare_tokens_and_score（令牌，特定_words）
      
    打?。╢“ field：{field}”）
    打印（“唯一匹配的單詞：”，unique_matched_words）
    打印（“總分：”，total_score）


pdf_file ='soniasingla-dataSciencienciencienb-bio.pdf'  
字段='data_science'  
process_pdf_for_field（pdf_file，fie
由於data_science字段未定義，它將產(chǎn)生錯(cuò)誤消息。

當(dāng)刪除錯(cuò)誤時(shí)，它可以正常工作。

要正確處理案例靈敏度，並確保諸如“數(shù)據(jù)”和“數(shù)據(jù)”之類的單詞被認(rèn)為是相同的單詞，同時(shí)仍然只對(duì)其進(jìn)行評(píng)分（即使多次出現(xiàn)在不同的情況下），您可以將令牌和特定單詞的情況歸一化。我們可以通過(guò)在比較期間將令牌和特定單詞轉(zhuǎn)換為小寫(xiě)，但仍可以保留原始套管，以確保匹配單詞的最終輸出的原始外殼。
文本提取的要點(diǎn)

使用pdfplumber從PDF文件中提取文本。
使用OCR將圖像轉(zhuǎn)換為機(jī)器代碼。
使用Pytesseract將Python包裹代碼轉(zhuǎn)換為文本。

結(jié)論
我們探討了從CVS提取和分析數(shù)據(jù)的關(guān)鍵過(guò)程，重點(diǎn)是使用Python進(jìn)行自動(dòng)化技術(shù)。我們學(xué)會(huì)瞭如何利用NLTK，Spacy，Pytesseract和枕頭等必需庫(kù)，以從包括PDF和圖像在內(nèi)的各種文件格式中提取有效的文本。通過(guò)應(yīng)用代幣化，文本標(biāo)準(zhǔn)化和評(píng)分方法，我們獲得瞭如何有效地使候選人的資格與工作要求相結(jié)合的見(jiàn)解。這種系統(tǒng)的方法不僅簡(jiǎn)化了雇主的招聘過(guò)程，而且增強(qiáng)了候選人確保與他們技能相匹配的職位的機(jī)會(huì)。
關(guān)鍵要點(diǎn)

從簡(jiǎn)歷中提取有效的數(shù)據(jù)對(duì)於自動(dòng)化招聘過(guò)程至關(guān)重要。
 NLTK，Spacy，Pytesseract和Pillow等工具對(duì)於文本提取和處理至關(guān)重要。
正確的令牌化方法有助於準(zhǔn)確分析簡(jiǎn)歷的含量。
基於關(guān)鍵字實(shí)施評(píng)分機(jī)制可以增強(qiáng)候選人和工作要求之間的匹配過(guò)程。
通過(guò)誘餌等技術(shù)使代幣標(biāo)準(zhǔn)化可提高文本分析的精度。

常見(jiàn)問(wèn)題
Q1。如何從PDF中提取文本？
 A. pypdf2或pdfplumber庫(kù)從pdf提取文本。
 Q2。如何以圖像格式從簡(jiǎn)歷中提取文本？
答：如果CV處?kù)秷D像格式（掃描文檔或照片），則可以使用OCR（光學(xué)字符識(shí)別）從圖像中提取文本。 Python中最常用的工具是Pytesseract，它是Tesseract OCR的包裝紙。
 Q3。我如何處理OCR中質(zhì)量差的圖像？
答：在將圖像餵入OCR之前提高圖像的質(zhì)量可以顯著提高文本提取精度。使用OpenCV等工具等工具，諸如灰度轉(zhuǎn)換，閾值和降噪等技術(shù)可以幫助您。
本文所示的媒體不由Analytics Vidhya擁有，並由作者酌情使用。