分詞是處理自然語言處理 (NLP) 任務時的基本步驟。它涉及將文本分解成更小的單元，稱為標記，這些單元可以是單詞、子詞或字符。

高效的分詞對于語言模型的性能至關重要，使其成為各種 NLP 任務（如文本生成、翻譯和摘要）中的一個重要步驟。

Tiktoken 是 OpenAI 開發(fā)的一個快速高效的分詞庫。它提供了一個強大的解決方案，用于將文本轉(zhuǎn)換為標記，反之亦然。其速度和效率使其成為處理大型數(shù)據(jù)集和復雜模型的開發(fā)人員和數(shù)據(jù)科學家的絕佳選擇。

本指南專為開發(fā)人員、數(shù)據(jù)科學家以及任何計劃使用 Tiktoken 并需要包含示例的實用指南的人員而設計。

OpenAI 基礎知識

開始使用 OpenAI API 及更多功能！

立即開始開始使用 Tiktoken

要開始使用 Tiktoken，我們需要在 Python 環(huán)境中安裝它（Tiktoken 也適用于其他編程語言）?？梢允褂靡韵旅钔瓿纱瞬僮鳎?/p>

<code>pip install tiktoken</code>

您可以在以下 GitHub 存儲庫中查看 Tiktoken 開源 Python 版本的代碼。

要導入庫，我們運行：

<code>import tiktoken</code>

編碼模型

Tiktoken 中的編碼模型決定了將文本分解成標記的規(guī)則。這些模型至關重要，因為它們定義了文本的分割和編碼方式，從而影響語言處理任務的效率和準確性。不同的 OpenAI 模型使用不同的編碼。

Tiktoken 提供了三種針對不同用例優(yōu)化的編碼模型：

• o200k_base：最新 GPT-4o-Mini 模型的編碼。
• cl100k_base：較新 OpenAI 模型（如 GPT-4 和 GPT-3.5-Turbo）的編碼模型。
• p50k_base：Codex 模型的編碼，這些模型用于代碼應用程序。
• r50k_base：不同版本的 GPT-3 的較舊編碼。

所有這些模型都可用于 OpenAI 的 API。請注意，API 提供的模型比這里列出的要多得多。幸運的是，Tiktoken 庫提供了一種簡單的方法來檢查應將哪個編碼與哪個模型一起使用。

例如，如果我需要知道 text-embedding-3-small 模型使用什么編碼模型，我可以運行以下命令并獲得答案作為輸出：

<code>pip install tiktoken</code>

我們得到作為輸出。在我們直接使用 Tiktoken 之前，我想提到 OpenAI 有一個標記化 Web 應用程序，您可以在其中查看不同的字符串是如何標記化的——您可以在這里訪問它。還有一個第三方在線標記器 Tiktokenizer，它支持非 OpenAI 模型。

將文本編碼為標記

要使用 Tiktoken 將文本編碼為標記，您首先需要獲取編碼對象。初始化它有兩種方法。首先，您可以使用標記器的名稱來執(zhí)行此操作：

<code>import tiktoken</code>

或者，您可以運行前面提到的 encoding_for_model 函數(shù)以獲取特定模型的編碼器：

<code>print(tiktoken.encoding_for_model('text-embedding-3-small'))</code>

現(xiàn)在，我們可以運行編碼對象的 encode 方法來編碼字符串。例如，我們可以按照以下方式編碼“我愛 DataCamp”字符串——這里我使用 cl100k_base 編碼器：

<code>encoding = tiktoken.get_encoding("[標記器名稱]")</code>

我們得到[40, 3021, 2956, 34955]作為輸出。

將標記解碼為文本

要將標記解碼回文本，我們可以在編碼對象上使用 .decode() 方法。

讓我們解碼以下標記[40, 4048, 264, 2763, 505, 2956, 34955]：

<code>encoding = tiktoken.encoding_for_model("[模型名稱]")</code>

這些標記解碼為“我從 DataCamp 學到了很多東西”。

實際用例和技巧

除了編碼和解碼之外，我還想到了另外兩個用例。

成本估算和管理

在向 OpenAI API 發(fā)送請求之前了解標記計數(shù)可以幫助您有效地管理成本。由于 OpenAI 的計費基于處理的標記數(shù)量，因此預標記文本允許您估算 API 使用成本。以下是如何使用 Tiktoken 計算文本中的標記：

<code>print(encoding.encode("我愛 DataCamp"))</code>

我們只需通過檢查數(shù)組的長度來查看我們獲得了多少個標記。通過提前了解標記數(shù)量，您可以決定是否縮短文本或調(diào)整使用情況以保持預算內(nèi)。

您可以在本關于使用 Python 中的 tiktoken 庫估算 GPT 成本的教程中閱讀更多關于此方法的信息。

輸入長度驗證

當使用來自 API 的 OpenAI 模型時，您受到輸入和輸出最大標記數(shù)的限制。超過這些限制會導致錯誤或輸出被截斷。使用 Tiktoken，您可以驗證輸入長度并確保它符合標記限制。

結(jié)論

Tiktoken 是一個開源分詞庫，它提供針對 OpenAI 語言模型量身定制的速度和效率。

了解如何使用 Tiktoken 編碼和解碼文本及其各種編碼模型，可以極大地增強您使用大型語言模型的工作。

獲得頂級 AI 認證

證明您可以有效且負責任地使用 AI。獲得認證，獲得聘用

以上是tiktoken教程：Openai＆＃x27的Python圖書館用于令牌文本的詳細內(nèi)容。更多信息請關注PHP中文網(wǎng)其他相關文章！