> Langsmith是一個(gè)完善的平臺(tái)，用于測(cè)試，調(diào)試和評(píng)估LLM應(yīng)用程序。也許，其最重要的功能是LLM輸出評(píng)估和性能監(jiān)控。在本教程中，我們將看到行動(dòng)中的框架并學(xué)習(xí)將其應(yīng)用于您自己的項(xiàng)目中的技術(shù)。

正如我上面提到的，Langsmith是評(píng)估大型語(yǔ)言應(yīng)用程序的綜合平臺(tái)。以下是它們帶來(lái)的一些特征和切實(shí)的現(xiàn)實(shí)世界好處：

質(zhì)量保證

>使用嚴(yán)格的評(píng)估工具，公司可以避免AI發(fā)行錯(cuò)誤的尷尬和成本（例如我在介紹中給出的示例）。 Langsmith允許您根據(jù)內(nèi)置標(biāo)準(zhǔn)檢查L(zhǎng)LM的輸出，例如樂(lè)于助人，連貫性，厭女癥，甚至是自然語(yǔ)言的定制評(píng)估，例如“輸出陳詞濫調(diào)的內(nèi)容？”或者，在抽認(rèn)卡的情況下，“卡是否包含編碼問(wèn)題？”。

>

集成 Langchain是專門(mén)針對(duì)LLMS開(kāi)發(fā)階段的Langmith的父框架。它提供模塊化軟件設(shè)計(jì)，可鏈多個(gè)LLM（代理），并將它們與其他API（例如YouTube，Google Search等）集成在一起。 Langsmith是頂部的櫻桃，確保使用Langchain制造的原型通過(guò)使用其強(qiáng)大的評(píng)估和監(jiān)視工具來(lái)按預(yù)期進(jìn)行。

數(shù)據(jù)集

>

在ML應(yīng)用程序開(kāi)發(fā)中，您可以收集數(shù)據(jù)，訓(xùn)練，微調(diào)，測(cè)試和部署模型 - 這些步驟定義明確。但是，使用LLM應(yīng)用程序，您通常會(huì)從供應(yīng)商的現(xiàn)成模型開(kāi)始。微調(diào)？那可能很昂貴。因此，您將專注于制定正確的提示 - 這全都是向您的LLM應(yīng)用程序提出正確的問(wèn)題。將其視為需要大量提示來(lái)測(cè)試內(nèi)容，就像您需要大量的數(shù)據(jù)以進(jìn)行良好的ML模型一樣。

>

在此階段，您將使用Langchain之類的框架制作應(yīng)用程序的基礎(chǔ)。對(duì)于抽認(rèn)卡生成器項(xiàng)目，您的原型可能包括供應(yīng)商所選LLM頂部的多個(gè)組件。例如，您可能需要將其鏈接到：

聊天加載程序
>向量存儲(chǔ)
嵌入模型
>回調(diào)
• 等等（請(qǐng)參閱可以從Langchain Docs的此頁(yè)面中添加哪種組件）。但是，您可以通過(guò)使用Langchain提供的普通高級(jí)任務(wù)的現(xiàn)成連鎖店大幅度縮短開(kāi)發(fā)時(shí)間。
>
• 2。生產(chǎn)
在此階段，您將針對(duì)盡可能多的方案測(cè)試您的應(yīng)用程序。這意味著您必須確保每個(gè)添加的組件效果很好，鏈條良好，并產(chǎn)生一致的高質(zhì)量輸出。

>

3。部署

>擁有可行的應(yīng)用程序后，您可以將其部署為REST API。 REST API基本上將您現(xiàn)有的Langchain鏈或代理轉(zhuǎn)換為其他人可以發(fā)送請(qǐng)求以與您的AI模型進(jìn)行交互的HTTPS鏈接。現(xiàn)在，您將構(gòu)建服務(wù)的用戶界面，例如桌面應(yīng)用程序，或者更常見(jiàn)的是網(wǎng)站。

>

>

>

設(shè)置Langmith Python SDK

。 要獲取鑰匙，請(qǐng)單擊平臺(tái)中的密鑰圖標(biāo)，然后將其保存在安全的地方。然后，在具有新的虛擬環(huán)境初始化的新目錄中，創(chuàng)建一個(gè).env文件。內(nèi)部，粘貼以下兩行：

LANGCHAIN_API_KEY="LangSmith-API-key"
OPENAI_API_KEY="Your-OPENAI-key"

>

python-dotenv to read environment variables:
pip install -U langsmith
pip install python-dotenv

import warnings

from dotenv import find_dotenv, load_dotenv

warnings.filterwarnings("ignore")

import os

load_dotenv(find_dotenv())
os.environ["LANGCHAIN_API_KEY"] = str(os.getenv("LANGCHAIN_API_KEY"))
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_ENDPOINT"] = "https://api.smith.langchain.com"

from langsmith import Client

# Initialize a client
client = Client()

import uuid

# Create id
uid = uuid.uuid4()
# Create a unique name
PROJECT_NAME = "flashcards-generator-" + str(uid)
# Create the project
session = client.create_project(
   project_name=PROJECT_NAME,
   description="A project that generates flashcards from user input",
)

LANGCHAIN_API_KEY="LangSmith-API-key"
OPENAI_API_KEY="Your-OPENAI-key"

python-dotenv to read environment variables:
pip install -U langsmith
pip install python-dotenv

import warnings

from dotenv import find_dotenv, load_dotenv

warnings.filterwarnings("ignore")

import os

load_dotenv(find_dotenv())
os.environ["LANGCHAIN_API_KEY"] = str(os.getenv("LANGCHAIN_API_KEY"))
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_ENDPOINT"] = "https://api.smith.langchain.com"

from langsmith import Client

# Initialize a client
client = Client()

import uuid

# Create id
uid = uuid.uuid4()
# Create a unique name
PROJECT_NAME = "flashcards-generator-" + str(uid)
# Create the project
session = client.create_project(
   project_name=PROJECT_NAME,
   description="A project that generates flashcards from user input",
)

LANGCHAIN_API_KEY="LangSmith-API-key"
OPENAI_API_KEY="Your-OPENAI-key"

python-dotenv to read environment variables:
pip install -U langsmith
pip install python-dotenv

import warnings

from dotenv import find_dotenv, load_dotenv

warnings.filterwarnings("ignore")

import os

load_dotenv(find_dotenv())
os.environ["LANGCHAIN_API_KEY"] = str(os.getenv("LANGCHAIN_API_KEY"))
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_ENDPOINT"] = "https://api.smith.langchain.com"

from langsmith import Client

# Initialize a client
client = Client()

import uuid

# Create id
uid = uuid.uuid4()
# Create a unique name
PROJECT_NAME = "flashcards-generator-" + str(uid)
# Create the project
session = client.create_project(
   project_name=PROJECT_NAME,
   description="A project that generates flashcards from user input",
)

LANGCHAIN_API_KEY="LangSmith-API-key"
OPENAI_API_KEY="Your-OPENAI-key"