什么是LLM網(wǎng)關(guān)？

LLM Gateway是一個(gè)平臺(tái)，允許用戶使用統(tǒng)一的API接口來路由，管理和分析其大型語言模型（LLM）請(qǐng)求。它是完全開源的，與OpenAI API格式兼容以進(jìn)行無縫集成。

如何使用LLM網(wǎng)關(guān)？

要使用LLM網(wǎng)關(guān)，用戶只需將其現(xiàn)有API端點(diǎn)更改為`https：// api.llmgateway.io/v1`并使用其LLM Gateway API鍵即可。它與OpenAI API格式兼容，允許以各種語言和框架（例如Python，Typescript，Next.js，Java，Rust，Go，go，Php和Ruby）等各種語言和框架與現(xiàn)有代碼集成。然后，LLM網(wǎng)關(guān)在跟蹤使用和性能時(shí)將請(qǐng)求路由到適當(dāng)?shù)奶峁┥獭?/p>

LLM Gateway的核心功能

統(tǒng)一的API接口（OpenAI API兼容）

多培訓(xùn)支持

用法分析（請(qǐng)求，令牌，響應(yīng)時(shí)間，成本）

性能監(jiān)控

安全密鑰管理

自我托管或云部署

模型編排（與最佳AI模型的動(dòng)態(tài)路由）

簡單集成

LLM Gateway的用例

通過單個(gè)API管理和路由LLM請(qǐng)求跨各個(gè)提供商。

跟蹤和分析LLM的使用，成本和性能。

遷移現(xiàn)有的OpenAI API集成以支持多個(gè)LLM提供商。

部署完整的自主LLM代理>

比較不同的LLM模型的性能和成本效益。

LLM Gateway支持電子郵件和客戶服務(wù)聯(lián)系人和退款聯(lián)系人等。

這是用于客戶服務(wù)的LLM網(wǎng)關(guān)支持電子郵件：[電子郵件保護(hù)]。更多聯(lián)系，請(qǐng)?jiān)L問“聯(lián)系我們”頁面（MailTo：[電子郵件保護(hù)]）