Langchain文本拆分器：優(yōu)化LLM輸入以提高效率和準(zhǔn)確性

我們上一篇文章介紹了Langchain的文檔加載程序。但是，LLM具有上下文窗口大小的限制（以代幣測(cè)量）。超過(guò)此限制會(huì)截?cái)鄶?shù)據(jù)，損害準(zhǔn)確性並增加成本。解決方案？?jī)H將相關(guān)數(shù)據(jù)發(fā)送到LLM，需要數(shù)據(jù)分割。輸入Langchain的文本拆分器。

關(guān)鍵概念：

1. 文本拆分器的關(guān)鍵作用：理解為什麼有效的文本拆分對(duì)於優(yōu)化LLM應(yīng)用程序，平衡上下文窗口大小和成本至關(guān)重要。
2. 多樣化的文本拆分技術(shù)：探索各種方法，包括角色計(jì)數(shù)，代幣計(jì)數(shù)，遞歸分裂以及針對(duì)HTML，代碼和JSON結(jié)構(gòu)量身定制的技術(shù)。
3. Langchain文本分離器實(shí)施：學(xué)習(xí)實(shí)用應(yīng)用，包括安裝，文本分割的代碼示例以及處理多種數(shù)據(jù)格式。
4. 語(yǔ)義分裂以增強(qiáng)相關(guān)性：發(fā)現(xiàn)句子的嵌入和余弦相似性如何創(chuàng)造語(yǔ)義上連貫的塊，從而最大程度地提高相關(guān)性。

目錄：

• 什麼是文本拆分器？
• 數(shù)據(jù)拆分方法
• 基於角色計(jì)數(shù)的分裂
• 遞歸分裂
• 基於令牌計(jì)數(shù)的分裂
• 處理HTML
• 特定於代碼的分裂
• JSON數(shù)據(jù)處理
• 語(yǔ)義塊
• 常見(jiàn)問(wèn)題

什麼是文本拆分器？

文本拆分器將大文本分為較小的，可管理的塊，以改善LLM查詢(xún)相關(guān)性。它們直接在原始文本或蘭鏈文檔對(duì)像上工作。多種方法適合不同的內(nèi)容類(lèi)型和用例。

數(shù)據(jù)拆分方法

Langchain文本拆分器對(duì)於有效的大型文檔處理至關(guān)重要。它們可以提高性能，上下文理解，實(shí)現(xiàn)並行處理並促進(jìn)更好的數(shù)據(jù)管理。讓我們檢查幾種方法：

先決條件：使用pip install langchain_text_splitters安裝軟件包

基於角色計(jì)數(shù)的分裂

此方法使用指定的分離器根據(jù)字符計(jì)數(shù)分配文本。

來(lái)自langchain_community.document_loader
來(lái)自langchain_text_splitter

＃加載數(shù)據(jù)（用PDF路徑替換）
loader = unscontralypdfloader（'how-to-formulate-successful-business-strategy.pdf'，mode ='single'）
data = loader.load（）

text_splitter = prinateTextSplitter（saparator =“ \ n”，chunk_size = 500，chunk_overlap = 0，is_separator_regex = false）
texts = text_splitter.split_documents（數(shù)據(jù)）
Len（文本）＃輸出：塊數(shù)量

此示例將文本分為500個(gè)字符的塊，使用newline字符作為分離器。

遞歸分裂

這是順序使用多個(gè)分離器，直到塊低於chunk_size 。對(duì)於句子級(jí)分裂有用。

來(lái)自langchain_text_splitter

recursive_splitter = recursivecharactertextsplitter（saparators = [“ \ n \ n”，“ \ n”，r“（？>> 293）

＃...（其餘代碼保持相似）

基於令牌計(jì)數(shù)的分裂

LLM使用令牌；通過(guò)令牌計(jì)數(shù)分裂更準(zhǔn)確。此示例使用o200k_base編碼（檢查github鏈接中的型號(hào)/編碼映射）。

從langchain_text_splitters導(dǎo)入tokentextsplitter

text_splitter = tokentextsplitter（encoding_name ='o200k_base'，chunk_size = 50，chunk_overlap = 0）
texts = text_splitter.split_documents（數(shù)據(jù)）
Len（文本）＃輸出：塊數(shù)量

遞歸分裂也可以與令牌計(jì)數(shù)相結(jié)合。

對(duì)於純文本，通常優(yōu)選使用字符或令牌計(jì)數(shù)進(jìn)行遞歸分裂。

處理HTML

對(duì)於HTML等結(jié)構(gòu)化數(shù)據(jù)，分裂應(yīng)尊重結(jié)構(gòu)。此示例基於HTML標(biāo)頭拆分。

從langchain_text_splitters導(dǎo)入htmlheadertextsplitter

headers_to_split_on = [（“ h1”，“ header 1”），（“ h2”，“ header 2”），（“ h3”，“ header 3”）]
html_splitter = htmlheadertextsplitter（headers_to_split_on，return_each_element = true）
html_header_splits = html_splitter.split_text_from_url（'https://diataxis.fr/'）
len（html_header_splits）＃輸出：塊數(shù)

HTMLSectionSplitter允許根據(jù)其他部分進(jìn)行分割。

特定於代碼的分裂

編程語(yǔ)言具有獨(dú)特的結(jié)構(gòu)。此示例使用語(yǔ)法意識(shí)分配用於Python代碼。

來(lái)自langchain_text_splitter

＃...（Python代碼示例）...

python_splitter = recursivecharactertextsplitter.from_language（language = language.python，chunk_size = 100，chunk_overlap = 0）
python_docs = python_splitter.create_documents（[Python_code]）

JSON數(shù)據(jù)處理

嵌套的JSON對(duì)象可以在保留密鑰關(guān)係時(shí)分開(kāi)。

來(lái)自langchain_text_splitters導(dǎo)入recursivejsonsplitter

＃...（JSON數(shù)據(jù)示例）...

splitter = recursivejsonsplitter（max_chunk_size = 200，min_chunk_size = 20）
塊= splitter.split_text（json_data，convert_lists = true）

語(yǔ)義塊

該方法使用句子嵌入和余弦與語(yǔ)義相關(guān)的句子的相似性。

來(lái)自langchain_experiment.text_splitter導(dǎo)入semanticchunker
來(lái)自langchain_openai.embeddings進(jìn)口openaiembeddings＃需要OpenAi API鍵

＃...（使用openaiembeddings和semanticchunker的代碼）...

結(jié)論

Langchain提供了各種文本分裂方法，每種方法都適用於不同的數(shù)據(jù)類(lèi)型。選擇正確的方法可以?xún)?yōu)化LLM輸入，提高準(zhǔn)確性並降低成本。

常見(jiàn)問(wèn)題

（問(wèn)答部分基本相同，並進(jìn)行較小的措辭調(diào)整以清晰度和流動(dòng)。）

以上是使用Langchain Text Splitters -Analytics Vidhya拆分?jǐn)?shù)據(jù)的7種方法的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！