Anthropic的Claude AI具有控制計算機的能力：革命性更新使Claude可以通過“查看”屏幕來瀏覽桌面，單擊，輸入和滾動。此Beta功能正在改變AI與軟件的互動，有望提高生產(chǎn)率。安全仍然是至關(guān)重要的，因為人類探索了這一技術(shù)的潛力。

目錄

• 為什么人類專注于計算機使用？
• 教AI屏幕互動
• 平衡創(chuàng)新與安全
• 人類的計算機使用如何工作
• 人類計算機使用的功能
• 局限性和挑戰(zhàn)
• 與Claude一起探索計算機使用：方法和示例
• 使用消息API
• 參考實現(xiàn)：Docker容器
• 與Docker設(shè)置計算機
• 測試計算機使用
• 人類QuickStarts應(yīng)用程序
• 補充快速部署
• 用例
• 結(jié)論
• 常見問題

為什么關(guān)注計算機使用？

大多數(shù)日常任務(wù)都發(fā)生在計算機上。使AI能夠使用像人類這樣的軟件可以解鎖巨大的可能性。這消除了對自定義工具的需求，從而允許任何程序的無縫導(dǎo)航。它建立在AI邏輯和圖像識別方面的進步基礎(chǔ)上，開為以前不可能的壯舉的開門。

教AI屏幕互動

克勞德（Claude）的計算機使用技能是由創(chuàng)新和技術(shù)專長的融合而產(chǎn)生的。利用多模式功能，研究人員培訓(xùn)了克勞德（Claude）來解釋計算機屏幕，將視覺數(shù)據(jù)轉(zhuǎn)化為動作。一個關(guān)鍵的挑戰(zhàn)是光標(biāo)控制的精確像素測量。從簡單的軟件開始，Claude將這些技能推廣，表現(xiàn)出令人驚訝的解決問題的能力和自我糾正。盡管訓(xùn)練很復(fù)雜，但結(jié)果令人印象深刻，在OSWorld等基準(zhǔn)測試中取得了最新的性能，盡管仍然遠非人類的準(zhǔn)確性。

平衡創(chuàng)新與安全

每個AI的進步都引起了安全問題。盡管這種能力并非固有地提高認(rèn)知能力，但它降低了現(xiàn)實應(yīng)用程序的障礙。安全評估將克勞德（Claude）置于AI安全2級，表明不需要額外的保障措施。但是，未來的進步可能會擴大風(fēng)險，需要積極的減輕脆弱性，例如解決“及時注射”攻擊。 Anthropic的信任與安全團隊積極監(jiān)控潛在的濫用，實施濫用檢測和任務(wù)指導(dǎo)。鼓勵開發(fā)人員遵循最佳實踐，并優(yōu)先考慮數(shù)據(jù)隱私； Claude默認(rèn)情況下未對用戶數(shù)據(jù)或屏幕截圖進行培訓(xùn)。

人類的計算機使用：如何工作

1。工具和提示：在您的API請求中包括擬人定義的工具，并提供明確的提示（例如，“將貓圖片保存到我的桌面上”）。

2.工具選擇： Claude評估提示并選擇適當(dāng)?shù)墓ぞ撸瑒?chuàng)建工具使用請求（格式的API調(diào)用）。 stop_reason字段指示使用工具。

3。工具執(zhí)行和結(jié)果：該工具在容器或VM上執(zhí)行，將結(jié)果通過tool_result塊返回Claude。

4。迭代問題解決： Claude迭代分析結(jié)果，確定進一步的工具需求并重復(fù)直到完成任務(wù)完成，類似于GPT的經(jīng)過想法的推理。

功能

克勞德可以處理：

1. 文件操作：訪問和編輯Excel文件，保存屏幕截圖。
2. 表單自動化：填充表格，自動數(shù)據(jù)輸入。
3. 網(wǎng)絡(luò)刮擦：使用自然語言提取網(wǎng)站信息。

局限性和挑戰(zhàn)

• 意外行動：克勞德可能會執(zhí)行無關(guān)緊要的任務(wù)，從而導(dǎo)致延遲。
• 無限循環(huán)：無需解決的重復(fù)操作，消耗資源。
• 風(fēng)險情景：敏感操作期間的錯誤可能會帶來嚴(yán)重的后果。

與Claude一起探索計算機使用

文檔詳細(xì)信息通過消息API啟用計算機使用。

使用消息API

消息API允許編程指令發(fā)送，使Claude能夠安全地利用計算資源。您指定權(quán)限，輸入和環(huán)境。

代碼示例（說明性）：

導(dǎo)入擬人化

＃...（API密鑰設(shè)置）...

響應(yīng)= client.beta.messages.create（
    型號=“ Claude-3-5-Sonnet-20241022”，
    ＃...（工具定義和消息）...
）

打?。憫?yīng)）

Docker容器實現(xiàn)

Docker容器簡化了設(shè)置，提供了一個一致的環(huán)境。這是擬人化的推薦方法。

與Docker設(shè)置計算機

1. 安裝Docker：遵循Docker的安裝指南。確保啟用虛擬化支持。
2. 獲取API鍵：從人類控制臺獲取API鍵。
3. 設(shè)置Docker容器：使用提供的Docker命令，用您的API鍵代替占位符并根據(jù)需要調(diào)整路徑。
4. 訪問應(yīng)用程序：通過瀏覽器中的映射端口訪問應(yīng)用程序。
5. 監(jiān)視使用：跟蹤API信用消耗。

測試計算機使用（例如，視頻嵌入將在此處）

（嵌入視頻會去這里）

人類QuickStarts應(yīng)用程序并進行補充

替代方法包括使用擬人化QuickStarts應(yīng)用程序（輕巧，可擴展）或REPLIT（基于云的即時設(shè)置）。

用例（視頻嵌入將在此處使用）

結(jié)論

Anthropic的計算機使用代表了AI自動化的重大飛躍。盡管仍然存在挑戰(zhàn)，但它可以改變?nèi)粘Ｓ嬎愕臐摿κ遣豢煞裾J(rèn)的。

常見問題（這些問題將包括在這里）

以上是人類計算機使用：AI助手接管您的計算機的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！