Anthropic的Claude AI具有控制計(jì)算機(jī)的能力：革命性更新使Claude可以通過(guò)“查看”屏幕來(lái)瀏覽桌面，單擊，輸入和滾動(dòng)。此Beta功能正在改變AI與軟件的互動(dòng)，有望提高生產(chǎn)率。安全仍然是至關(guān)重要的，因?yàn)槿祟?lèi)探索了這一技術(shù)的潛力。

目錄

• 為什麼人類(lèi)專(zhuān)注於計(jì)算機(jī)使用？
• 教AI屏幕互動(dòng)
• 平衡創(chuàng)新與安全
• 人類(lèi)的計(jì)算機(jī)使用如何工作
• 人類(lèi)計(jì)算機(jī)使用的功能
• 局限性和挑戰(zhàn)
• 與Claude一起探索計(jì)算機(jī)使用：方法和示例
• 使用消息API
• 參考實(shí)現(xiàn)：Docker容器
• 與Docker設(shè)置計(jì)算機(jī)
• 測(cè)試計(jì)算機(jī)使用
• 人類(lèi)QuickStarts應(yīng)用程序
• 補(bǔ)充快速部署
• 用例
• 結(jié)論
• 常見(jiàn)問(wèn)題

為什麼關(guān)注計(jì)算機(jī)使用？

大多數(shù)日常任務(wù)都發(fā)生在計(jì)算機(jī)上。使AI能夠使用像人類(lèi)這樣的軟件可以解鎖巨大的可能性。這消除了對(duì)自定義工具的需求，從而允許任何程序的無(wú)縫導(dǎo)航。它建立在AI邏輯和圖像識(shí)別方面的進(jìn)步基礎(chǔ)上，開(kāi)為以前不可能的壯舉的開(kāi)門(mén)。

教AI屏幕互動(dòng)

克勞德（Claude）的計(jì)算機(jī)使用技能是由創(chuàng)新和技術(shù)專(zhuān)長(zhǎng)的融合而產(chǎn)生的。利用多模式功能，研究人員培訓(xùn)了克勞德（Claude）來(lái)解釋計(jì)算機(jī)屏幕，將視覺(jué)數(shù)據(jù)轉(zhuǎn)化為動(dòng)作。一個(gè)關(guān)鍵的挑戰(zhàn)是光標(biāo)控制的精確像素測(cè)量。從簡(jiǎn)單的軟件開(kāi)始，Claude將這些技能推廣，表現(xiàn)出令人驚訝的解決問(wèn)題的能力和自我糾正。儘管訓(xùn)練很複雜，但結(jié)果令人印象深刻，在OSWorld等基準(zhǔn)測(cè)試中取得了最新的性能，儘管仍然遠(yuǎn)非人類(lèi)的準(zhǔn)確性。

平衡創(chuàng)新與安全

每個(gè)AI的進(jìn)步都引起了安全問(wèn)題。儘管這種能力並非固有地提高認(rèn)知能力，但它降低了現(xiàn)實(shí)應(yīng)用程序的障礙。安全評(píng)估將克勞德（Claude）置於AI安全2級(jí)，表明不需要額外的保障措施。但是，未來(lái)的進(jìn)步可能會(huì)擴(kuò)大風(fēng)險(xiǎn)，需要積極的減輕脆弱性，例如解決“及時(shí)注射”攻擊。 Anthropic的信任與安全團(tuán)隊(duì)積極監(jiān)控潛在的濫用，實(shí)施濫用檢測(cè)和任務(wù)指導(dǎo)。鼓勵(lì)開(kāi)發(fā)人員遵循最佳實(shí)踐，並優(yōu)先考慮數(shù)據(jù)隱私； Claude默認(rèn)情況下未對(duì)用戶數(shù)據(jù)或屏幕截圖進(jìn)行培訓(xùn)。

人類(lèi)的計(jì)算機(jī)使用：如何工作

1。工具和提示：在您的API請(qǐng)求中包括擬人定義的工具，並提供明確的提示（例如，“將貓圖片保存到我的桌面上”）。

2.工具選擇： Claude評(píng)估提示並選擇適當(dāng)?shù)墓ぞ?，?chuàng)建工具使用請(qǐng)求（格式的API調(diào)用）。 stop_reason字段指示使用工具。

3。工具執(zhí)行和結(jié)果：該工具在容器或VM上執(zhí)行，將結(jié)果通過(guò)tool_result塊返回Claude。

4。迭代問(wèn)題解決： Claude迭代分析結(jié)果，確定進(jìn)一步的工具需求並重複直到完成任務(wù)完成，類(lèi)似於GPT的經(jīng)過(guò)想法的推理。

功能

克勞德可以處理：

1. 文件操作：訪問(wèn)和編輯Excel文件，保存屏幕截圖。
2. 表單自動(dòng)化：填充表格，自動(dòng)數(shù)據(jù)輸入。
3. 網(wǎng)絡(luò)刮擦：使用自然語(yǔ)言提取網(wǎng)站信息。

局限性和挑戰(zhàn)

• 意外行動(dòng)：克勞德可能會(huì)執(zhí)行無(wú)關(guān)緊要的任務(wù)，從而導(dǎo)致延遲。
• 無(wú)限循環(huán)：無(wú)需解決的重複操作，消耗資源。
• 風(fēng)險(xiǎn)情景：敏感操作期間的錯(cuò)誤可能會(huì)帶來(lái)嚴(yán)重的後果。

與Claude一起探索計(jì)算機(jī)使用

文檔詳細(xì)信息通過(guò)消息API啟用計(jì)算機(jī)使用。

使用消息API

消息API允許編程指令發(fā)送，使Claude能夠安全地利用計(jì)算資源。您指定權(quán)限，輸入和環(huán)境。

代碼示例（說(shuō)明性）：

導(dǎo)入擬人化

＃...（API密鑰設(shè)置）...

響應(yīng)= client.beta.messages.create（
    型號(hào)=“ Claude-3-5-Sonnet-20241022”，
    ＃...（工具定義和消息）...
）

打?。憫?yīng)）

Docker容器實(shí)現(xiàn)

Docker容器簡(jiǎn)化了設(shè)置，提供了一個(gè)一致的環(huán)境。這是擬人化的推薦方法。

與Docker設(shè)置計(jì)算機(jī)

1. 安裝Docker：遵循Docker的安裝指南。確保啟用虛擬化支持。
2. 獲取API鍵：從人類(lèi)控制臺(tái)獲取API鍵。
3. 設(shè)置Docker容器：使用提供的Docker命令，用您的API鍵代替佔(zhàn)位符並根據(jù)需要調(diào)整路徑。
4. 訪問(wèn)應(yīng)用程序：通過(guò)瀏覽器中的映射端口訪問(wèn)應(yīng)用程序。
5. 監(jiān)視使用：跟蹤API信用消耗。

測(cè)試計(jì)算機(jī)使用（例如，視頻嵌入將在此處）

（嵌入視頻會(huì)去這裡）

人類(lèi)QuickStarts應(yīng)用程序並進(jìn)行補(bǔ)充

替代方法包括使用擬人化QuickStarts應(yīng)用程序（輕巧，可擴(kuò)展）或REPLIT（基於雲(yún)的即時(shí)設(shè)置）。

用例（視頻嵌入將在此處使用）

結(jié)論

Anthropic的計(jì)算機(jī)使用代表了AI自動(dòng)化的重大飛躍。儘管仍然存在挑戰(zhàn)，但它可以改變?nèi)粘Ｓ?jì)算的潛力是不可否認(rèn)的。

常見(jiàn)問(wèn)題（這些問(wèn)題將包括在這裡）

以上是人類(lèi)計(jì)算機(jī)使用：AI助手接管您的計(jì)算機(jī)的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！