澳大利亞技術(shù)專家杰里米·霍華德（Jeremy Howard）提出了一個新的標(biāo)準(zhǔn)llms.txt ，旨在改善大型語言模型（LLMS）訪問和索引網(wǎng)站內(nèi)容。該標(biāo)準(zhǔn)類似于robots.txt和XML站點(diǎn)地圖，旨在簡化LLMS的過程，減少其資源的壓力，同時為網(wǎng)站所有者提供更多控制權(quán)。一個關(guān)鍵功能是“完整內(nèi)容變平”，為品牌和內(nèi)容創(chuàng)建者提供了好處。

盡管該提案引起了極大的興趣，但它也面臨批評。但是，鑒于AI生成的含量的快速發(fā)展， llms.txt值得仔細(xì)考慮。

AI網(wǎng)站內(nèi)容可訪問性的新標(biāo)準(zhǔn)

關(guān)于內(nèi)容創(chuàng)建者權(quán)利和數(shù)據(jù)控制的討論，尤其是關(guān)于LLM培訓(xùn)數(shù)據(jù)的討論，在SXSW Interactive 2024中獲得了動力。盡管存在其他建議，但llms.txt （前面介紹）為增加內(nèi)容控制提供了更簡單的解決方案。這些建議不是互斥的，但是llms.txt在其發(fā)展中似乎更為先進(jìn)。

霍華德的提案利用簡單的標(biāo)記來創(chuàng)建網(wǎng)站爬網(wǎng)和索引標(biāo)準(zhǔn)。隨著LLM的消費(fèi)和生成大量的Web內(nèi)容，網(wǎng)站所有者越來越多地尋求更好地控制其數(shù)據(jù)的使用方式。 llms.txt的目的是通過允許LLMS減少爬網(wǎng)和更多地關(guān)注其核心“智能”功能來解決這一問題。

本文探討了：

• llms.txt是什么及其功能。
• 它在實(shí)踐中的工作方式。
• 關(guān)于其價(jià)值的不同觀點(diǎn)。
• LLM和網(wǎng)站所有者的當(dāng)前采用率。
• 為什么它值得關(guān)注。

了解llms.txt及其功能

霍華德的提議指出：“大型語言模型越來越依賴網(wǎng)站信息，但是面對關(guān)鍵的限制：上下文窗口太小，無法完整地處理大多數(shù)網(wǎng)站。將復(fù)雜的HTML頁面與導(dǎo)航，ADS和JavaScript轉(zhuǎn)換為LLM友好型純文本，既困難又不精確...我們建議添加A /llms.txt Markdey Firce to a /llm offiry wird offry wird offry offry offry友好llmmmieldlmmm firm llmmmield offrmm fird llmm firce''''''''''''''''''''''''''''

llms.txt允許網(wǎng)站所有者指定AI模型如何訪問和使用其內(nèi)容。與robots.txt不同，它不會阻止訪問，而是指導(dǎo)內(nèi)容如何顯示給AI平臺。這可能涉及根據(jù)網(wǎng)站結(jié)構(gòu)組織的一個或多個文件中的一個或多個文件中的特定部分，摘要或完整的網(wǎng)站文本。

一個示例顯示了一個超過100,000個單詞的llms.txt文件，其中包含整個網(wǎng)站扁平的文本。但是，根據(jù)網(wǎng)站內(nèi)容，文件大小可能會大不相同。也可以創(chuàng)建單個頁面的降價(jià)（.md）版本。

生成llms.txt或llms-full.txt文件

該過程的簡單性值得注意。它將網(wǎng)站減少到其核心文本本質(zhì)，簡化各種應(yīng)用程序的解析，包括內(nèi)容開發(fā)，網(wǎng)站分析和實(shí)體研究。標(biāo)準(zhǔn)化方法允許網(wǎng)站所有者控制LLM的使用方式。

該協(xié)議正在吸引科技領(lǐng)導(dǎo)者和SEO專業(yè)人員之間。它增強(qiáng)相關(guān)性的潛力有益于LLM，網(wǎng)站所有者和尋求更準(zhǔn)確信息的用戶。 llms.txt在網(wǎng)站的根目錄中使用簡單的文本文件時的功能類似于robots.txt ，但要理解robots.txt指令不包含在llms.txt中。

llms.txt實(shí)施的示例：

幾個著名的組織已經(jīng)采用或正在探索llms.txt ，包括擬人，擁抱的臉，困惑和Zapier。 llms.txt HUB是使用此標(biāo)準(zhǔn)識別AI開發(fā)人員的資源。

生成llms.txt文件的工具：

幾種工具有助于生成llms.txt文件，從較小網(wǎng)站的免費(fèi)選項(xiàng)到較大較大的網(wǎng)站的自定義解決方案。網(wǎng)站所有者還可以開發(fā)自己的工具。但是，在部署之前，對任何外部工具的徹底安全審查至關(guān)重要。示例包括Markdowner，Aptify，網(wǎng)站LLM（WordPress插件）和FireCrawl。

SEO和GEO的意義

控制AI模型與網(wǎng)站內(nèi)容交互的方式至關(guān)重要。扁平的網(wǎng)站版本簡化了AI提取，培訓(xùn)和分析。好處包括：

• 保護(hù)專有內(nèi)容：（適用于合規(guī)性LLM）
• 品牌聲譽(yù)管理：理論上提供了對AI生成的響應(yīng)中信息如何出現(xiàn)的控制。
• 增強(qiáng)的語言和內(nèi)容分析：促進(jìn)了各種分析，例如關(guān)鍵字頻率和實(shí)體分析。
• 改進(jìn)的AI相互作用：使LLM能夠檢索準(zhǔn)確且相關(guān)的信息。
• 提高內(nèi)容可見性：有可能提高AI驅(qū)動搜索結(jié)果的可見性。
• 更好的AI性能：確保LLMS訪問有價(jià)值的內(nèi)容，從而獲得更準(zhǔn)確的響應(yīng)。
• 競爭優(yōu)勢：將網(wǎng)站定位為更高的AI-Ready。

挑戰(zhàn)和局限性

盡管有潛力，但llms.txt仍面臨挑戰(zhàn)：

• AI公司的收養(yǎng)：并非所有的AI公司都可以遵守。
• 網(wǎng)站采用：網(wǎng)站所有者的廣泛采用對于成功至關(guān)重要。
• 與其他協(xié)議重疊：潛在的與robots.txt和XML站點(diǎn)地圖的沖突。
• 濫用的潛力：關(guān)鍵字填充或其他操縱技術(shù)的可能性。
• 接觸競爭者：促進(jìn)更容易的競爭分析。

一些SEO/GEO專業(yè)人員表示保留，認(rèn)為LLMS和搜索引擎之間的區(qū)別是模糊的，使llms.txt相關(guān)性較小。其他人則認(rèn)為現(xiàn)有協(xié)議（例如robots.txt和XML站點(diǎn)地圖）就足夠了。

llms.txt和AI內(nèi)容治理的未來

llms.txt代表了平衡AI創(chuàng)新與內(nèi)容所有權(quán)的早期嘗試。它的廣泛采用取決于行業(yè)支持，網(wǎng)站所有者的參與，監(jiān)管發(fā)展和AI公司合規(guī)性。保持知情和調(diào)整內(nèi)容策略對于網(wǎng)站所有者至關(guān)重要。

llms.txt有助于更透明和受控的AI內(nèi)容生態(tài)系統(tǒng)。主動實(shí)施保障數(shù)字資產(chǎn)并改善了LLM與網(wǎng)站的交互。 AI相互作用的定義策略對于在線搜索和內(nèi)容分布的不斷發(fā)展的景觀至關(guān)重要。

llms.txt可能會引入一定程度的科學(xué)嚴(yán)謹(jǐn)性，目前缺乏既定的標(biāo)準(zhǔn)和實(shí)踐。它在一個越來越依賴LLM的世界中提供了潛在的優(yōu)勢來檢索信息。盡管廣泛采用仍然不確定，但潛在的收益足以保證考慮和實(shí)施。

以上是認(rèn)識LLMS.TXT，這是AI網(wǎng)站內(nèi)容爬網(wǎng)的擬議標(biāo)準(zhǔn)的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！