澳大利亞技術(shù)專(zhuān)家杰里米·霍華德（Jeremy Howard）提出了一個(gè)新的標(biāo)準(zhǔn)llms.txt ，旨在改善大型語(yǔ)言模型（LLMS）訪(fǎng)問(wèn)和索引網(wǎng)站內(nèi)容。該標(biāo)準(zhǔn)類(lèi)似于robots.txt和XML站點(diǎn)地圖，旨在簡(jiǎn)化LLMS的過(guò)程，減少其資源的壓力，同時(shí)為網(wǎng)站所有者提供更多控制權(quán)。一個(gè)關(guān)鍵功能是“完整內(nèi)容變平”，為品牌和內(nèi)容創(chuàng)建者提供了好處。

盡管該提案引起了極大的興趣，但它也面臨批評(píng)。但是，鑒于A(yíng)I生成的含量的快速發(fā)展， llms.txt值得仔細(xì)考慮。

AI網(wǎng)站內(nèi)容可訪(fǎng)問(wèn)性的新標(biāo)準(zhǔn)

關(guān)于內(nèi)容創(chuàng)建者權(quán)利和數(shù)據(jù)控制的討論，尤其是關(guān)于LLM培訓(xùn)數(shù)據(jù)的討論，在SXSW Interactive 2024中獲得了動(dòng)力。盡管存在其他建議，但llms.txt （前面介紹）為增加內(nèi)容控制提供了更簡(jiǎn)單的解決方案。這些建議不是互斥的，但是llms.txt在其發(fā)展中似乎更為先進(jìn)。

霍華德的提案利用簡(jiǎn)單的標(biāo)記來(lái)創(chuàng)建網(wǎng)站爬網(wǎng)和索引標(biāo)準(zhǔn)。隨著LLM的消費(fèi)和生成大量的Web內(nèi)容，網(wǎng)站所有者越來(lái)越多地尋求更好地控制其數(shù)據(jù)的使用方式。 llms.txt的目的是通過(guò)允許LLMS減少爬網(wǎng)和更多地關(guān)注其核心“智能”功能來(lái)解決這一問(wèn)題。

本文探討了：

• llms.txt是什么及其功能。
• 它在實(shí)踐中的工作方式。
• 關(guān)于其價(jià)值的不同觀(guān)點(diǎn)。
• LLM和網(wǎng)站所有者的當(dāng)前采用率。
• 為什么它值得關(guān)注。

了解llms.txt及其功能

霍華德的提議指出：“大型語(yǔ)言模型越來(lái)越依賴(lài)網(wǎng)站信息，但是面對(duì)關(guān)鍵的限制：上下文窗口太小，無(wú)法完整地處理大多數(shù)網(wǎng)站。將復(fù)雜的HTML頁(yè)面與導(dǎo)航，ADS和JavaScript轉(zhuǎn)換為L(zhǎng)LM友好型純文本，既困難又不精確...我們建議添加A /llms.txt Markdey Firce to a /llm offiry wird offry wird offry offry offry友好llmmmieldlmmm firm llmmmield offrmm fird llmm firce''''''''''''''''''''''''''''

llms.txt允許網(wǎng)站所有者指定AI模型如何訪(fǎng)問(wèn)和使用其內(nèi)容。與robots.txt不同，它不會(huì)阻止訪(fǎng)問(wèn)，而是指導(dǎo)內(nèi)容如何顯示給AI平臺(tái)。這可能涉及根據(jù)網(wǎng)站結(jié)構(gòu)組織的一個(gè)或多個(gè)文件中的一個(gè)或多個(gè)文件中的特定部分，摘要或完整的網(wǎng)站文本。

一個(gè)示例顯示了一個(gè)超過(guò)100,000個(gè)單詞的llms.txt文件，其中包含整個(gè)網(wǎng)站扁平的文本。但是，根據(jù)網(wǎng)站內(nèi)容，文件大小可能會(huì)大不相同。也可以創(chuàng)建單個(gè)頁(yè)面的降價(jià)（.md）版本。

生成llms.txt或llms-full.txt文件

該過(guò)程的簡(jiǎn)單性值得注意。它將網(wǎng)站減少到其核心文本本質(zhì)，簡(jiǎn)化各種應(yīng)用程序的解析，包括內(nèi)容開(kāi)發(fā)，網(wǎng)站分析和實(shí)體研究。標(biāo)準(zhǔn)化方法允許網(wǎng)站所有者控制LLM的使用方式。

該協(xié)議正在吸引科技領(lǐng)導(dǎo)者和SEO專(zhuān)業(yè)人員之間。它增強(qiáng)相關(guān)性的潛力有益于LLM，網(wǎng)站所有者和尋求更準(zhǔn)確信息的用戶(hù)。 llms.txt在網(wǎng)站的根目錄中使用簡(jiǎn)單的文本文件時(shí)的功能類(lèi)似于robots.txt ，但要理解robots.txt指令不包含在llms.txt中。

llms.txt實(shí)施的示例：

幾個(gè)著名的組織已經(jīng)采用或正在探索llms.txt ，包括擬人，擁抱的臉，困惑和Zapier。 llms.txt HUB是使用此標(biāo)準(zhǔn)識(shí)別AI開(kāi)發(fā)人員的資源。

生成llms.txt文件的工具：

幾種工具有助于生成llms.txt文件，從較小網(wǎng)站的免費(fèi)選項(xiàng)到較大較大的網(wǎng)站的自定義解決方案。網(wǎng)站所有者還可以開(kāi)發(fā)自己的工具。但是，在部署之前，對(duì)任何外部工具的徹底安全審查至關(guān)重要。示例包括Markdowner，Aptify，網(wǎng)站LLM（WordPress插件）和FireCrawl。

SEO和GEO的意義

控制AI模型與網(wǎng)站內(nèi)容交互的方式至關(guān)重要。扁平的網(wǎng)站版本簡(jiǎn)化了AI提取，培訓(xùn)和分析。好處包括：

• 保護(hù)專(zhuān)有內(nèi)容：（適用于合規(guī)性L(fǎng)LM）
• 品牌聲譽(yù)管理：理論上提供了對(duì)AI生成的響應(yīng)中信息如何出現(xiàn)的控制。
• 增強(qiáng)的語(yǔ)言和內(nèi)容分析：促進(jìn)了各種分析，例如關(guān)鍵字頻率和實(shí)體分析。
• 改進(jìn)的AI相互作用：使LLM能夠檢索準(zhǔn)確且相關(guān)的信息。
• 提高內(nèi)容可見(jiàn)性：有可能提高AI驅(qū)動(dòng)搜索結(jié)果的可見(jiàn)性。
• 更好的AI性能：確保LLMS訪(fǎng)問(wèn)有價(jià)值的內(nèi)容，從而獲得更準(zhǔn)確的響應(yīng)。
• 競(jìng)爭(zhēng)優(yōu)勢(shì)：將網(wǎng)站定位為更高的AI-Ready。

挑戰(zhàn)和局限性

盡管有潛力，但llms.txt仍面臨挑戰(zhàn)：

• AI公司的收養(yǎng)：并非所有的AI公司都可以遵守。
• 網(wǎng)站采用：網(wǎng)站所有者的廣泛采用對(duì)于成功至關(guān)重要。
• 與其他協(xié)議重疊：潛在的與robots.txt和XML站點(diǎn)地圖的沖突。
• 濫用的潛力：關(guān)鍵字填充或其他操縱技術(shù)的可能性。
• 接觸競(jìng)爭(zhēng)者：促進(jìn)更容易的競(jìng)爭(zhēng)分析。

一些SEO/GEO專(zhuān)業(yè)人員表示保留，認(rèn)為L(zhǎng)LMS和搜索引擎之間的區(qū)別是模糊的，使llms.txt相關(guān)性較小。其他人則認(rèn)為現(xiàn)有協(xié)議（例如robots.txt和XML站點(diǎn)地圖）就足夠了。

llms.txt和AI內(nèi)容治理的未來(lái)

llms.txt代表了平衡AI創(chuàng)新與內(nèi)容所有權(quán)的早期嘗試。它的廣泛采用取決于行業(yè)支持，網(wǎng)站所有者的參與，監(jiān)管發(fā)展和AI公司合規(guī)性。保持知情和調(diào)整內(nèi)容策略對(duì)于網(wǎng)站所有者至關(guān)重要。

llms.txt有助于更透明和受控的AI內(nèi)容生態(tài)系統(tǒng)。主動(dòng)實(shí)施保障數(shù)字資產(chǎn)并改善了LLM與網(wǎng)站的交互。 AI相互作用的定義策略對(duì)于在線(xiàn)搜索和內(nèi)容分布的不斷發(fā)展的景觀(guān)至關(guān)重要。

llms.txt可能會(huì)引入一定程度的科學(xué)嚴(yán)謹(jǐn)性，目前缺乏既定的標(biāo)準(zhǔn)和實(shí)踐。它在一個(gè)越來(lái)越依賴(lài)LLM的世界中提供了潛在的優(yōu)勢(shì)來(lái)檢索信息。盡管廣泛采用仍然不確定，但潛在的收益足以保證考慮和實(shí)施。

以上是認(rèn)識(shí)LLMS.TXT，這是AI網(wǎng)站內(nèi)容爬網(wǎng)的擬議標(biāo)準(zhǔn)的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！