AI模型的自主學(xué)習(xí)能力：超越編程語(yǔ)言的學(xué)習(xí)方式

學(xué)習(xí)是一個(gè)持續(xù)的過(guò)程，無(wú)論是對(duì)人類還是AI模型而言。然而，一個(gè)經(jīng)常出現(xiàn)的問題是，這些AI模型能否像人類一樣自主學(xué)習(xí)？根據(jù)最新的發(fā)展——它們可以。為了更好地理解這一點(diǎn)，讓我們回到大學(xué)時(shí)代，當(dāng)時(shí)C 、Java和Python是我們精通計(jì)算機(jī)科學(xué)需要掌握的主要編程語(yǔ)言。學(xué)習(xí)這些語(yǔ)言需要理解語(yǔ)法、語(yǔ)義、實(shí)際應(yīng)用和問題解決。因此，為了熟練掌握這些語(yǔ)言，我們進(jìn)行了持續(xù)的練習(xí)（或者可以說(shuō)接受了訓(xùn)練）。此外，我們也從同學(xué)和教授那里學(xué)到了很多東西，對(duì)吧？同樣，正如人類可以從自身的思考、專業(yè)知識(shí)和其他媒介中學(xué)習(xí)一樣，大型語(yǔ)言模型(LLM)或許也可以。

然而，無(wú)論是對(duì)人類還是LLM來(lái)說(shuō)，獲得專業(yè)知識(shí)或成為某一領(lǐng)域的專家都是一段艱辛的旅程。我們了解人類的學(xué)習(xí)過(guò)程和推理能力，以及它們?cè)跊Q策和完成任務(wù)方面的能力，但LLM的訓(xùn)練過(guò)程是什么樣的呢？

我可以這么說(shuō)：

1. 首先是LLM的預(yù)訓(xùn)練：在此步驟中，您幫助模型學(xué)習(xí)模式，例如語(yǔ)法、句子結(jié)構(gòu)，甚至單詞和概念之間的關(guān)系。
2. 指令微調(diào)（或微調(diào)）：為了微調(diào)模型，使用包含指令示例和所需響應(yīng)的精選數(shù)據(jù)集。
3. 基于人類反饋的強(qiáng)化學(xué)習(xí) (RLHF)：人類評(píng)估者對(duì)模型的響應(yīng)進(jìn)行排名，這被進(jìn)一步用于改進(jìn)模型與用戶期望的一致性。

這說(shuō)得通，對(duì)吧？但是，如果我們構(gòu)建一個(gè)自主工作流程來(lái)讓模型學(xué)習(xí)并在獨(dú)立進(jìn)行所有檢查的同時(shí)給出輸出，會(huì)怎么樣呢？這就像擁有一個(gè)可以完成所有工作而無(wú)需任何人工干預(yù)的私人助理。此外，在本文中，我們將討論用于構(gòu)建AI系統(tǒng)的4種自主AI設(shè)計(jì)模式。

• 什么是自主AI反思模式？
• 什么是自主AI工具使用模式？
• 什么是自主AI規(guī)劃模式？
• 什么是自主AI多智能體模式？

概述

• 本文討論了AI模型，特別是像GPT這樣的大型語(yǔ)言模型(LLM)，如何通過(guò)采用模擬人類迭代式問題解決的自主工作流程來(lái)自主學(xué)習(xí)。
• 自主工作流程通過(guò)逐步細(xì)化任務(wù)來(lái)增強(qiáng)AI性能，這類似于人類如何反復(fù)檢查和改進(jìn)他們的工作以獲得更好的結(jié)果。
• 介紹了四個(gè)關(guān)鍵的自主設(shè)計(jì)模式——反思、工具使用、規(guī)劃和多智能體協(xié)作——作為使AI系統(tǒng)更自主和更有能力的策略。

目錄

• 概述
• 什么是自主設(shè)計(jì)模式？
• 自主設(shè)計(jì)模式：評(píng)估
• 您必須知道的4種自主設(shè)計(jì)模式
  • 反思模式
  • 工具使用模式
  • 規(guī)劃模式
  • 多智能體模式
• 結(jié)論
• 常見問題

什么是自主設(shè)計(jì)模式？

自主設(shè)計(jì)模式被引入作為使LLM更自主的解決方案。與其只向模型提供一個(gè)提示并期望得到最終答案（例如一次性撰寫一篇論文），不如采用類似代理的方法，即逐步多次提示LLM。每個(gè)步驟都會(huì)改進(jìn)任務(wù)，模型會(huì)迭代地改進(jìn)其輸出。

為了更好地理解這一點(diǎn)，讓我們這樣來(lái)看：

當(dāng)我們?cè)诹銟颖灸Ｊ较绿崾綥LM時(shí)，就像要求某人一口氣寫一個(gè)故事而不進(jìn)行修改一樣。LLM在這方面做得很好，但它們可以做得更好。通過(guò)使用類似代理的工作流程，我們可以逐步多次提示LLM。每個(gè)步驟都建立在之前的步驟之上，從而改進(jìn)響應(yīng)?？梢园阉胂蟪梢驦LM多次檢查文章，并在每次檢查中進(jìn)行改進(jìn)。

每個(gè)步驟的意思是：

讓我們以使用自主工作流程編寫代碼為例：

1. 計(jì)劃代碼的大綱：將任務(wù)分解成更小的模塊或函數(shù)。
2. 收集信息和內(nèi)容：研究庫(kù)、算法或現(xiàn)有解決方案。如有需要，請(qǐng)進(jìn)行網(wǎng)絡(luò)搜索或查看文檔。
3. 編寫代碼的初稿：實(shí)現(xiàn)基本功能，重點(diǎn)放在結(jié)構(gòu)而不是完美上。
4. 檢查代碼是否存在低效或錯(cuò)誤：檢查是否存在不必要的代碼、錯(cuò)誤或邏輯缺陷。
5. 修改代碼：重構(gòu)、優(yōu)化或添加注釋以提高清晰度。

重復(fù)此過(guò)程，直到代碼高效且簡(jiǎn)潔。

通過(guò)允許模型獨(dú)立完成這些步驟，自主設(shè)計(jì)模式增強(qiáng)了類似人類的推理和效率。這類似于人類如何分解復(fù)雜的任務(wù)，收集信息，進(jìn)行改進(jìn)，并迭代直到最終結(jié)果令人滿意。現(xiàn)在，讓我們?cè)敿?xì)了解自主設(shè)計(jì)模式。

自主設(shè)計(jì)模式：評(píng)估

Andrew Ng在Deeplearning.ai上分享的一封信中分析指出，AI驅(qū)動(dòng)的代碼生成取得了進(jìn)展，尤其關(guān)注GPT-3.5和GPT-4等模型的性能。評(píng)估的重點(diǎn)是這些模型在廣為人知的HumanEval編碼基準(zhǔn)測(cè)試中的能力，這是一個(gè)評(píng)估算法編寫代碼能力的常用標(biāo)準(zhǔn)。

提供的數(shù)據(jù)顯示了使用AI代理的AI編碼能力的演變。GPT-3.5在零樣本設(shè)置（即沒有任何先驗(yàn)示例）中進(jìn)行測(cè)試時(shí)，其正確率為48.1%。同樣在零樣本方式下評(píng)估的GPT-4表現(xiàn)出顯著的改進(jìn)，成功率為67.0%。然而，分析中突出的是，將這些模型集成到迭代代理工作流程（自主工作流程）中如何大幅提高了它們的性能。當(dāng)GPT-3.5被包含在這樣的代理循環(huán)中時(shí)，其準(zhǔn)確率飆升至令人印象深刻的95.1%，遠(yuǎn)遠(yuǎn)超過(guò)其基線，甚至接近人類水平的編碼能力。

這一發(fā)現(xiàn)強(qiáng)調(diào)了迭代工作流程（自主工作流程）在增強(qiáng)AI模型性能方面的變革潛力，表明AI輔助編碼的未來(lái)可能更多地依賴于這些更先進(jìn)、更具適應(yīng)性的框架，而不是僅僅依賴于模型大小或架構(gòu)的改進(jìn)。

但是，哪些自主設(shè)計(jì)模式完成了對(duì)AI系統(tǒng)的自主權(quán)的委派，使它們能夠更獨(dú)立、更有效地行動(dòng)呢？這些模式構(gòu)建AI代理以執(zhí)行任務(wù)、做出決策以及與其他系統(tǒng)進(jìn)行更類似于人類和更自主的方式進(jìn)行溝通，最終創(chuàng)建既精明又可靠的應(yīng)用程序。

您必須知道的4種自主設(shè)計(jì)模式

在自主AI和關(guān)鍵設(shè)計(jì)模式中，了解每種模式如何賦能大型語(yǔ)言模型(LLM)如GPT更自主和有效地運(yùn)行至關(guān)重要。這些設(shè)計(jì)模式通過(guò)鼓勵(lì)自我評(píng)估、工具集成、戰(zhàn)略思維和協(xié)作來(lái)突破AI的局限性。讓我們探索四個(gè)重要的自主設(shè)計(jì)模式，這些模式塑造了這些模型如何運(yùn)行和執(zhí)行復(fù)雜任務(wù)。

以下是自主設(shè)計(jì)模式的類型：

1. 反思模式

反思模式側(cè)重于提高AI評(píng)估和改進(jìn)自身輸出的能力。想象一下，一個(gè)LLM像人類審稿人一樣審查其生成的內(nèi)容或代碼，識(shí)別錯(cuò)誤、差距或需要改進(jìn)的領(lǐng)域，然后提出改進(jìn)建議。

這種自我批評(píng)循環(huán)并不局限于單次迭代。AI可以根據(jù)需要重復(fù)反思過(guò)程多次，以獲得改進(jìn)的、完善的結(jié)果。例如，如果任務(wù)是編寫軟件，LLM可以生成初始版本，批評(píng)其自身的邏輯和結(jié)構(gòu)，并修改代碼。反思的迭代性質(zhì)隨著時(shí)間的推移會(huì)產(chǎn)生更強(qiáng)大、更可靠的輸出。

這種模式在需要精確度的任務(wù)中特別有用，例如內(nèi)容創(chuàng)建、問題解決或代碼生成。采用這種方法可以通過(guò)自我引導(dǎo)的更正來(lái)提高模型的準(zhǔn)確性和可靠性。

一個(gè)有趣的例子是自反思RAG。SELF-RAG是一個(gè)旨在通過(guò)將檢索和自反思集成到文本生成過(guò)程中來(lái)提高語(yǔ)言模型的質(zhì)量和事實(shí)準(zhǔn)確性的框架。傳統(tǒng)的檢索增強(qiáng)生成 (RAG)模型通過(guò)結(jié)合相關(guān)的檢索到的段落來(lái)增強(qiáng)響應(yīng)，但通常會(huì)檢索固定數(shù)量的文檔，而不管其相關(guān)性如何，這可能會(huì)引入噪聲或不相關(guān)的內(nèi)容。SELF-RAG通過(guò)一種自適應(yīng)方法解決了這些限制，這種方法根據(jù)生成的內(nèi)容動(dòng)態(tài)檢索信息，并使用反思標(biāo)記來(lái)評(píng)估生成的質(zhì)量。

SELF-RAG如何使用反思？

SELF-RAG通過(guò)“反思標(biāo)記”結(jié)合自反思機(jī)制，“反思標(biāo)記”用于評(píng)估文本生成的各個(gè)方面，例如相關(guān)性、支持和整體效用。在生成過(guò)程中，模型會(huì)評(píng)估是否需要檢索，并通過(guò)在不同階段批評(píng)自己來(lái)評(píng)估生成內(nèi)容的質(zhì)量。

以下是便于理解的圖表：

• 傳統(tǒng)RAG首先檢索固定數(shù)量的文檔，而Self-RAG會(huì)根據(jù)正在生成的內(nèi)容動(dòng)態(tài)執(zhí)行檢索。
• Self-RAG評(píng)估多個(gè)生成的片段，批評(píng)其質(zhì)量，并選擇性地組合最準(zhǔn)確的信息。
• Self-RAG的迭代過(guò)程能夠逐步改進(jìn)生成，提高輸出的準(zhǔn)確性和相關(guān)性。

簡(jiǎn)而言之，Self-RAG增加了一層額外的自我反思和改進(jìn)，從而產(chǎn)生更可靠和精確的答案。

2. 工具使用模式

工具使用模式通過(guò)允許LLM與外部工具和資源交互來(lái)顯著擴(kuò)展其能力，從而增強(qiáng)其解決問題的能力。遵循此模式的AI不會(huì)僅僅依賴于內(nèi)部計(jì)算或知識(shí)，它可以訪問數(shù)據(jù)庫(kù)、搜索網(wǎng)絡(luò)，甚至可以通過(guò)Python等編程語(yǔ)言執(zhí)行復(fù)雜函數(shù)。

例如，可以提示LLM為特定查詢從網(wǎng)絡(luò)檢索數(shù)據(jù)、分析數(shù)據(jù)并將其集成到其輸出中。或者，它可能被賦予計(jì)算統(tǒng)計(jì)結(jié)果、生成圖像或操作電子表格的任務(wù)——這些操作超出了簡(jiǎn)單的文本生成。通過(guò)結(jié)合工具的使用，LLM從靜態(tài)知識(shí)庫(kù)發(fā)展成為能夠與外部系統(tǒng)交互以實(shí)現(xiàn)目標(biāo)的動(dòng)態(tài)代理。

這種模式之所以強(qiáng)大，是因?yàn)樗试SAI系統(tǒng)處理更復(fù)雜、多方面的任務(wù)，而僅靠?jī)?nèi)部知識(shí)是不夠的，從而將其效用擴(kuò)展到現(xiàn)實(shí)世界的應(yīng)用中。

3. 規(guī)劃模式

規(guī)劃模式使LLM能夠?qū)⒋笮蛷?fù)雜的任務(wù)分解成更小、更易于管理的組件。規(guī)劃使代理能夠?qū)φ?qǐng)求做出反應(yīng)，并戰(zhàn)略性地構(gòu)建實(shí)現(xiàn)目標(biāo)所需的步驟。

LLM使用規(guī)劃模式不會(huì)線性地、臨時(shí)地處理問題，而是會(huì)創(chuàng)建一個(gè)子任務(wù)路線圖，確定完成任務(wù)最有效的路徑。例如，在編碼時(shí)，LLM會(huì)先概述整體結(jié)構(gòu)，然后再實(shí)現(xiàn)各個(gè)函數(shù)。這避免了混亂或曲折的邏輯，并使AI專注于主要目標(biāo)。

ReAct（推理和行動(dòng)）和ReWOO（使用開放本體進(jìn)行推理）通過(guò)將決策和情境推理集成到規(guī)劃過(guò)程中來(lái)進(jìn)一步擴(kuò)展這種方法。ReAct使LLM能夠在推理（思考問題）和行動(dòng)（執(zhí)行特定任務(wù)）之間動(dòng)態(tài)切換，從而實(shí)現(xiàn)更具適應(yīng)性和靈活性的規(guī)劃。通過(guò)結(jié)合這兩個(gè)步驟，LLM可以迭代地改進(jìn)其方法，解決出現(xiàn)的意外挑戰(zhàn)。

另一方面，ReWOO通過(guò)使用開放世界本體來(lái)指導(dǎo)推理來(lái)增強(qiáng)規(guī)劃模式。這意味著LLM可以結(jié)合來(lái)自各個(gè)領(lǐng)域的更廣泛的情境信息和知識(shí)，從而做出更明智的決策。借助ReWOO，AI可以根據(jù)新獲得的信息或變化的需求實(shí)時(shí)調(diào)整計(jì)劃，確保更強(qiáng)大和全面的問題解決方法。

總的來(lái)說(shuō)，規(guī)劃模式、ReAct和ReWOO使LLM能夠以結(jié)構(gòu)化但適應(yīng)性強(qiáng)的方式處理復(fù)雜的任務(wù)，從而實(shí)現(xiàn)高效且以目標(biāo)為導(dǎo)向的執(zhí)行。

此外，生成結(jié)構(gòu)化計(jì)劃（或“用戶請(qǐng)求摘要”）確保AI跟蹤所有步驟，并且不會(huì)忽略更廣泛的任務(wù)。這種方法確保了結(jié)果的更高質(zhì)量和一致性，尤其是在復(fù)雜的問題解決或多階段項(xiàng)目中。

4. 多智能體模式

多智能體模式建立在委派的概念之上，類似于人類團(tuán)隊(duì)中的項(xiàng)目管理。這種模式涉及將不同的代理（具有特定角色或功能的LLM實(shí)例）分配給不同的子任務(wù)。這些代理可以獨(dú)立地處理其分配的任務(wù)，同時(shí)也可以進(jìn)行溝通和協(xié)作以實(shí)現(xiàn)統(tǒng)一的結(jié)果。

多智能體模式有幾種類型：

1. 協(xié)作代理: 多個(gè)代理共同處理任務(wù)的不同部分，共享進(jìn)度并朝著統(tǒng)一的結(jié)果努力。每個(gè)代理可能專門從事不同的領(lǐng)域。
2. 監(jiān)督代理: 一個(gè)中央監(jiān)督代理管理其他代理，協(xié)調(diào)其活動(dòng)并驗(yàn)證結(jié)果以確保質(zhì)量。
3. 分層團(tuán)隊(duì): 一個(gè)結(jié)構(gòu)化的系統(tǒng)，其中高級(jí)代理監(jiān)督低級(jí)代理，決策通過(guò)各級(jí)層層下達(dá)以完成復(fù)雜的任務(wù)。

有關(guān)此內(nèi)容的更多詳細(xì)信息，請(qǐng)瀏覽：多智能體協(xié)作。

例如，在一個(gè)需要文本分析和數(shù)值計(jì)算的場(chǎng)景中，兩個(gè)獨(dú)立的代理可以處理每個(gè)任務(wù)，共享其結(jié)果以形成全面的解決方案。一個(gè)代理可能專注于理解上下文，而另一個(gè)代理處理數(shù)據(jù)，它們共同提供全面的響應(yīng)。這種模式對(duì)于處理需要多種技能的大規(guī)模或復(fù)雜問題特別有效。

簡(jiǎn)而言之，多智能體模式反映了人類如何在各個(gè)專業(yè)領(lǐng)域進(jìn)行協(xié)作，確保每個(gè)代理專注于其優(yōu)勢(shì)，同時(shí)為更大的協(xié)調(diào)努力做出貢獻(xiàn)。

通過(guò)掌握這四種自主設(shè)計(jì)模式，開發(fā)人員和用戶都可以釋放AI系統(tǒng)的全部潛力。反思模式通過(guò)自我評(píng)估提高準(zhǔn)確性和質(zhì)量，工具使用模式實(shí)現(xiàn)動(dòng)態(tài)的現(xiàn)實(shí)世界交互，規(guī)劃模式為解決復(fù)雜任務(wù)提供路線圖，多智能體協(xié)作確保多個(gè)代理有效地協(xié)同工作?？偟膩?lái)說(shuō)，這些模式為構(gòu)建更智能、更自主的AI系統(tǒng)奠定了基礎(chǔ)，這些系統(tǒng)能夠應(yīng)對(duì)現(xiàn)實(shí)世界的挑戰(zhàn)。

結(jié)論

自主設(shè)計(jì)模式強(qiáng)調(diào)了自主工作流程在使AI模型（特別是大型語(yǔ)言模型 (LLM)）更自主和高效方面的變革潛力。它解釋說(shuō)，雖然像GPT-3.5和GPT-4這樣的模型在零樣本任務(wù)中表現(xiàn)良好，但當(dāng)采用迭代的自主工作流程時(shí)，它們的準(zhǔn)確性和有效性會(huì)顯著提高。這種方法允許模型分解任務(wù)、自我評(píng)估、利用外部工具、進(jìn)行戰(zhàn)略規(guī)劃以及與其他代理協(xié)作，從而增強(qiáng)其解決問題的能力。

本文介紹了四個(gè)關(guān)鍵的設(shè)計(jì)模式——反思、工具使用、規(guī)劃和多智能體——它們構(gòu)成了這些自主工作流程的基礎(chǔ)。這些模式突破了AI的局限性，并使AI系統(tǒng)能夠更獨(dú)立、更智能地運(yùn)行，就像人類處理復(fù)雜任務(wù)一樣。這表明未來(lái)的AI進(jìn)步將取決于增加模型規(guī)模和開發(fā)更具適應(yīng)性和戰(zhàn)略性的工作流程。

在本系列關(guān)于自主設(shè)計(jì)模式的文章中，我們將進(jìn)一步詳細(xì)探討每個(gè)設(shè)計(jì)模式：反思、工具使用、規(guī)劃和多智能體，揭示它們?nèi)绾问笰I系統(tǒng)變得更自主和更有能力。

敬請(qǐng)期待!!!!

探索自主AI先鋒計(jì)劃，以加深您對(duì)代理AI的理解并釋放其全部潛力。加入我們，踏上發(fā)現(xiàn)創(chuàng)新見解和應(yīng)用的旅程！

常見問題

Q1。什么是AI中的自主設(shè)計(jì)模式？****答：自主設(shè)計(jì)模式是用于使AI系統(tǒng)（特別是大型語(yǔ)言模型 (LLM)）更自主和有效的策略。這些模式允許AI通過(guò)模擬類似人類的問題解決和推理過(guò)程，更獨(dú)立地執(zhí)行任務(wù)、做出決策以及與其他系統(tǒng)交互。關(guān)鍵模式包括反思、工具使用、規(guī)劃和多智能體協(xié)作。

Q2。反思模式如何提高AI性能？****答：反思模式增強(qiáng)了AI自我評(píng)估和改進(jìn)其輸出的能力。通過(guò)反復(fù)審查自己的工作，AI會(huì)識(shí)別錯(cuò)誤、差距或需要改進(jìn)的領(lǐng)域，并在迭代循環(huán)中進(jìn)行更正。這種模式在需要精確度的任務(wù)中（例如代碼生成或內(nèi)容創(chuàng)建）被證明特別有用，因?yàn)樗兄诋a(chǎn)生更準(zhǔn)確和可靠的結(jié)果。

Q3。在AI工作流程中使用工具使用模式的好處是什么？****答：工具使用模式通過(guò)允許AI與外部工具和資源交互來(lái)擴(kuò)展AI的能力。AI不會(huì)僅僅依賴于內(nèi)部知識(shí)，它可以訪問數(shù)據(jù)庫(kù)、執(zhí)行網(wǎng)絡(luò)搜索或使用Python等編程語(yǔ)言執(zhí)行函數(shù)。這使得AI更加多功能，并且能夠處理需要超出其現(xiàn)有數(shù)據(jù)的信息或計(jì)算的復(fù)雜任務(wù)。

Q4。規(guī)劃模式如何幫助LLM處理復(fù)雜任務(wù)？****答：規(guī)劃模式使AI模型能夠?qū)?fù)雜的任務(wù)分解成更小、更易于管理的步驟，從而創(chuàng)建解決問題的路線圖。這種方法有助于保持對(duì)主要目標(biāo)的關(guān)注，并確保高效地執(zhí)行任務(wù)。像ReAct（推理和行動(dòng)）和ReWOO（使用開放本體進(jìn)行推理）這樣的變體結(jié)合了決策和自適應(yīng)策略，允許AI根據(jù)新信息的出現(xiàn)動(dòng)態(tài)地改進(jìn)其方法。

以上是前4個(gè)代理AI設(shè)計(jì)模式的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！