Langchain文本拆分器：優(yōu)化LLM輸入以提高效率和準確性

我們上一篇文章介紹了Langchain的文檔加載程序。但是，LLM具有上下文窗口大小的限制（以代幣測量）。超過此限制會截斷數(shù)據(jù)，損害準確性并增加成本。解決方案？僅將相關數(shù)據(jù)發(fā)送到LLM，需要數(shù)據(jù)分割。輸入Langchain的文本拆分器。

關鍵概念：

1. 文本拆分器的關鍵作用：理解為什么有效的文本拆分對于優(yōu)化LLM應用程序，平衡上下文窗口大小和成本至關重要。
2. 多樣化的文本拆分技術：探索各種方法，包括角色計數(shù)，代幣計數(shù)，遞歸分裂以及針對HTML，代碼和JSON結構量身定制的技術。
3. Langchain文本分離器實施：學習實用應用，包括安裝，文本分割的代碼示例以及處理多種數(shù)據(jù)格式。
4. 語義分裂以增強相關性：發(fā)現(xiàn)句子的嵌入和余弦相似性如何創(chuàng)造語義上連貫的塊，從而最大程度地提高相關性。

目錄：

• 什么是文本拆分器？
• 數(shù)據(jù)拆分方法
• 基于角色計數(shù)的分裂
• 遞歸分裂
• 基于令牌計數(shù)的分裂
• 處理HTML
• 特定于代碼的分裂
• JSON數(shù)據(jù)處理
• 語義塊
• 常見問題

什么是文本拆分器？

文本拆分器將大文本分為較小的，可管理的塊，以改善LLM查詢相關性。它們直接在原始文本或蘭鏈文檔對象上工作。多種方法適合不同的內容類型和用例。

數(shù)據(jù)拆分方法

Langchain文本拆分器對于有效的大型文檔處理至關重要。它們可以提高性能，上下文理解，實現(xiàn)并行處理并促進更好的數(shù)據(jù)管理。讓我們檢查幾種方法：

先決條件：使用pip install langchain_text_splitters安裝軟件包

基于角色計數(shù)的分裂

此方法使用指定的分離器根據(jù)字符計數(shù)分配文本。

來自langchain_community.document_loader
來自langchain_text_splitter

＃加載數(shù)據(jù)（用PDF路徑替換）
loader = unscontralypdfloader（'how-to-formulate-successful-business-strategy.pdf'，mode ='single'）
data = loader.load（）

text_splitter = prinateTextSplitter（saparator =“ \ n”，chunk_size = 500，chunk_overlap = 0，is_separator_regex = false）
texts = text_splitter.split_documents（數(shù)據(jù)）
Len（文本）＃輸出：塊數(shù)量

此示例將文本分為500個字符的塊，使用newline字符作為分離器。

遞歸分裂

這是順序使用多個分離器，直到塊低于chunk_size 。對于句子級分裂有用。

來自langchain_text_splitter

recursive_splitter = recursivecharactertextsplitter（saparators = [“ \ n \ n”，“ \ n”，r“（？>> 293）

＃...（其余代碼保持相似）

基于令牌計數(shù)的分裂

LLM使用令牌；通過令牌計數(shù)分裂更準確。此示例使用o200k_base編碼（檢查github鏈接中的型號/編碼映射）。

從langchain_text_splitters導入tokentextsplitter

text_splitter = tokentextsplitter（encoding_name ='o200k_base'，chunk_size = 50，chunk_overlap = 0）
texts = text_splitter.split_documents（數(shù)據(jù)）
Len（文本）＃輸出：塊數(shù)量

遞歸分裂也可以與令牌計數(shù)相結合。

對于純文本，通常優(yōu)選使用字符或令牌計數(shù)進行遞歸分裂。

處理HTML

對于HTML等結構化數(shù)據(jù)，分裂應尊重結構。此示例基于HTML標頭拆分。

從langchain_text_splitters導入htmlheadertextsplitter

headers_to_split_on = [（“ h1”，“ header 1”），（“ h2”，“ header 2”），（“ h3”，“ header 3”）]
html_splitter = htmlheadertextsplitter（headers_to_split_on，return_each_element = true）
html_header_splits = html_splitter.split_text_from_url（'https://diataxis.fr/'）
len（html_header_splits）＃輸出：塊數(shù)

HTMLSectionSplitter允許根據(jù)其他部分進行分割。

特定于代碼的分裂

編程語言具有獨特的結構。此示例使用語法意識分配用于Python代碼。

來自langchain_text_splitter

＃...（Python代碼示例）...

python_splitter = recursivecharactertextsplitter.from_language（language = language.python，chunk_size = 100，chunk_overlap = 0）
python_docs = python_splitter.create_documents（[Python_code]）

JSON數(shù)據(jù)處理

嵌套的JSON對象可以在保留密鑰關系時分開。

來自langchain_text_splitters導入recursivejsonsplitter

＃...（JSON數(shù)據(jù)示例）...

splitter = recursivejsonsplitter（max_chunk_size = 200，min_chunk_size = 20）
塊= splitter.split_text（json_data，convert_lists = true）

語義塊

該方法使用句子嵌入和余弦與語義相關的句子的相似性。

來自langchain_experiment.text_splitter導入semanticchunker
來自langchain_openai.embeddings進口openaiembeddings＃需要OpenAi API鍵

＃...（使用openaiembeddings和semanticchunker的代碼）...

結論

Langchain提供了各種文本分裂方法，每種方法都適用于不同的數(shù)據(jù)類型。選擇正確的方法可以優(yōu)化LLM輸入，提高準確性并降低成本。

常見問題

（問答部分基本相同，并進行較小的措辭調整以清晰度和流動。）

以上是使用Langchain Text Splitters -Analytics Vidhya拆分數(shù)據(jù)的7種方法的詳細內容。更多信息請關注PHP中文網其他相關文章！