Langchain ??? ???? : ???? ?????? LLM ?? ???

?? ??? Langchain? ?? ??? ??????. ??? LLM?? ???? ? ?? ??? ???? (???? ??). ? ??? ???? ???? ??? ???? ???? ??? ?????. ???? ??? ??? ??? LLM? ?? ??? ? ?????. Langchain? ??? ????? ??????.

?? ?? :

1. ??? ????? ??? ?? : LLM ?? ????? ????? ???? ? ?? ? ??? ??? ??? ? ???? ??? ??? ??? ??? ?????.
2. ??? ??? ?? ?? : ?? ?, ?? ?, ?? ?? ? HTML, ?? ? JSON ??? ?? ??? ??? ??? ??? ?????.
3. Langchain Text Splitter ?? : ??, ??? ??? ?? ?? ?? ? ??? ??? ?? ??? ??? ?? ?? ????? ?????.
4. ?? ? ?????? ??? ?? : ?? ???? ??? ???? ?? ??? ??? ??? ???? ???? ????? ??? ??????.

?? :

• ??? ????? ??????
• ??? ?? ??
• ??? ??? ?? ??
• ?? ??
• ?? ??? ?? ??
• HTML ??
• ?? ? ??
• JSON ??? ??
• ??? ???
• ?? ?? ??

??? ????? ??????

??? ????? LLM ?? ???? ????? ?? ? ???? ?? ?? ??? ??? ????. ??? ?? ??? ?? ?? ? ?? ???? ?? ?????. ?? ??? ??? ??? ?? ? ?? ??? ?????.

??? ?? ??

Langchain ??? ????? ???? ??? ?? ??? ?????. ??, ??? ?? ??? ????? ?? ??? ?????? ? ?? ??? ??? ???????. ? ?? ??? ?? ?????.

?? ?? : pip install langchain_text_splitters ???? ???? ??????

??? ??? ?? ??

? ??? ??? ???? ???? ?? ?? ?? ???? ?????.

 langchain_community.document_loaders?? unstructuredpdfloader? ?????
langchain_text_splitters import aratertextsplitter??

# ????? (PDF ??? ??)
?? = unstructuredpdfloader ( 'how-to-formulate-successful-business-strategy.pdf', mode = 'single')
data = loader.load ()

text_splitter = araterater = "\ n", chunk_size = 500, chunk_overlap = 0, is_separator_regex = false)
??? = text_splitter.split_documents (???)
Len (???) # ?? : ?? ?

? ??? Newline ??? ???? ???? ???? 500 ? chunk? ????.

?? ??

??? ??? chunk_size ????? ??? ?? ???? ????? ?????. ?? ?? ??? ?????.

 langchain_text_splitters?? import recursiveCharacterTextSplitter

recursive_splitter = recursiveCharacterTextSplitter (??? = [ "\ n \ n", "\ n", r "(? >> 293

# ... (??? ???? ?????)

?? ??? ?? ??

llms ?? ??; ?? ?? ??? ? ?????. ? ??? o200k_base ???? ????? (??/??? ??? GitHub ??? ??????).

 langchain_text_splitters?? tokentextsplitter? ?????

text_splitter = tokentextsplitter (encoding_name = 'o200k_base', chunk_size = 50, chunk_overlap = 0)
??? = text_splitter.split_documents (???)
Len (???) # ?? : ?? ?

?? ??? ?? ?? ??? ?? ? ? ????.

?? ???? ??, ?? ?? ?? ???? ?? ? ??? ????? ?????.

HTML ??

HTML? ?? ??? ? ???? ?? ??? ??? ???????. ? ??? HTML ??? ???? ?????.

 langchain_text_splitters?? htmlheadertextsplitter? ?????

headers_to_split_on = [( "H1", "Header 1"), ( "H2", "Header 2"), ( "H3", "Header 3")]]]
html_splitter = htmlheadertextsplitter (headers_to_split_on, return_each_element = true)
html_header_splits = html_splitter.split_text_from_url ( 'https://diataxis.fr/')
len (html_header_splits) # ?? : ?? ?

HTMLSectionSplitter ?? ??? ???? ??? ?????.

?? ? ??

????? ???? ?? ? ??? ????. ? ??? ??? ??? ?? ?? ??? ?????.

 langchain_text_splitters?? import recursiveCharacterTextSplitter, Language

# ... (??? ?? ?) ...

python_splitter = recursiveCharacterTextSplitter.from_language (language = language.python, chunk_size = 100, chunk_overlap = 0)
python_docs = python_splitter.create_documents ([python_code])

JSON ??? ??

?? ? JSON ??? ?? ??? ???? ?? ?? ? ? ????.

 langchain_text_splitters import recursivejsonsplitter??

# ... (JSON ??? ?) ...

???? = recursiveJsonSplitter (max_chunk_size = 200, min_chunk_size = 20)
Chunks = splitter.split_text (json_data, convert_lists = true)

??? ???

? ??? ?? ???? ??? ???? ???? ?? ?? ??? ??????.

 langchain_experimental.text_splitter?? Semanticchunker? ?????
Langchain_openai?? embeddings import OpenAiembedDings # ?? API ?? ?????

# ... (OpenAiemBeddings ? SemanticKunker? ??? ??) ...

??

Langchain? ??? ??? ??? ??? ??? ??? ?? ??? ?????. ??? ??? ???? LLM ??? ????? ???? ????? ??? ????.

?? ?? ??

(Q & A ??? ???? ??? ?? ?? ?? ???? ?? ???? ?????.)

? ??? Langchain ??? ????? ???? ???? ???? 7 ?? ?? - ?? Vidhya? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!