視覺(jué)與機(jī)器人學(xué)習(xí)的深度融合。

當(dāng)兩隻機(jī)器手絲滑地互相合作疊衣服、倒茶、將鞋子打包時(shí)，加上最近老上頭條的1X 人形機(jī)器人NEO，你可能會(huì)產(chǎn)生一種感覺(jué)：我們似乎開(kāi)始進(jìn)入機(jī)器人時(shí)代了。

事實(shí)上，這些絲滑動(dòng)作正是先進(jìn)機(jī)器人技術(shù) + 精妙框架設(shè)計(jì) + 多模態(tài)大模型的產(chǎn)物。

我們知道，有用的機(jī)器人往往需要與環(huán)境進(jìn)行複雜精妙的交互，而環(huán)境則可被表示成空間域和時(shí)間域上的約束。

舉個(gè)例子，如果要讓機(jī)器人倒茶，那麼機(jī)器人首先需要抓住茶壺手柄並使之保持直立，不潑灑出茶水，然後平穩(wěn)移動(dòng)，一直到讓壺口與杯口對(duì)齊，之後以一定角度傾斜茶壺。這裡，約束條件不僅包含中間目標(biāo)（如對(duì)齊壺口與杯口），還包括過(guò)渡狀態(tài)（如保持茶壺直立）；它們共同決定了機(jī)器人相對(duì)於環(huán)境的動(dòng)作的空間、時(shí)間和其它組合要求。

然而，現(xiàn)實(shí)世界紛繁複雜，如何建構(gòu)這些限制是一個(gè)極具挑戰(zhàn)性的問(wèn)題。

近日，李飛飛團(tuán)隊(duì)在這一研究方向取得了一個(gè)突破，提出了關(guān)係關(guān)鍵點(diǎn)約束（ReKep/Relational Keypoint Constraints）。簡(jiǎn)單來(lái)說(shuō)，這個(gè)方法就是將任務(wù)表示成一個(gè)關(guān)係關(guān)鍵點(diǎn)序列。並且，這套框架還能很好地與 GPT-4o 等多模態(tài)大模型很好地整合。從示範(fàn)影片來(lái)看，這種方法的表現(xiàn)相當(dāng)不錯(cuò)。該團(tuán)隊(duì)也已發(fā)布相關(guān)程式碼。本文一為 Wenlong Huang。

• 論文標(biāo)題：ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation

• 。網(wǎng)址：https://rekep-robot.github.io/rekep.pdf

• 專案網(wǎng)站：https://rekep-robot.github.io

• 代碼位址：https://github.com/huangwl18/ReKep

李飛飛表示，該工作展示了視覺(jué)與機(jī)器人學(xué)習(xí)的更深層融合！雖然論文中沒(méi)有提及李飛飛在今年 5 年初創(chuàng)立的專注空間智慧的 AI 公司 World Labs，但 ReKep 顯然在空間智慧方面大有潛力。

方法

關(guān)係關(guān)鍵點(diǎn)約束（Recep）

首先，我們先來(lái)看一個(gè)ReKep 實(shí)例。這裡先假設(shè)已經(jīng)指定了一組 K 個(gè)關(guān)鍵點(diǎn)。具體來(lái)說(shuō)，每個(gè)關(guān)鍵點(diǎn) k_i ∈ ?^3 都是在具有笛卡爾座標(biāo)的場(chǎng)景表面上的 3D 點(diǎn)。

一個(gè)ReKep 實(shí)例便是一個(gè)這樣的函數(shù)：?: ?^{K×3}→?；其可將一組關(guān)鍵點(diǎn)（記為?）映射成一個(gè)無(wú)界成本（unbounded cost），當(dāng)?(?) ≤ 0 時(shí)即表示滿足限制條件。至於具體實(shí)現(xiàn)，該團(tuán)隊(duì)將函數(shù) ? 實(shí)現(xiàn)為了一個(gè)無(wú)狀態(tài) Python 函數(shù)，其中包含對(duì)關(guān)鍵點(diǎn)的 NumPy 操作，這些操作可能是非線性的和非凸的。本質(zhì)上講，一個(gè) ReKep 實(shí)例編碼了關(guān)鍵點(diǎn)之間的一個(gè)所需空間關(guān)係。

但是，一個(gè)操作任務(wù)通常涉及多個(gè)空間關(guān)係，並且可能具有多個(gè)與時(shí)間有關(guān)的階段，其中每個(gè)階段都需要不同的空間關(guān)係。為此，團(tuán)隊(duì)的做法是將一個(gè)任務(wù)分解成N 個(gè)階段並使用ReKep 為每個(gè)階段i ∈ {1, ..., N } 指定兩類(lèi)限制：

• 一組子目標(biāo)約束?

• 一組路徑約束
  一組路徑約束一組路徑約束一組路徑約束一組路徑限制

其中 編碼了階段 i 結(jié)束時(shí)要實(shí)現(xiàn)的一個(gè)關(guān)鍵點(diǎn)關(guān)係，而 編碼了階段 i 內(nèi)每個(gè)狀態(tài)要滿足的一個(gè)關(guān)鍵點(diǎn)關(guān)係。以圖 2 的倒茶任務(wù)為例，包含三個(gè)階段：抓拿、對(duì)齊、倒茶。

階段 1 子目標(biāo)約束是將末端執(zhí)行器伸向茶壺把手。階段 2 子目標(biāo)約束是讓茶壺口位於杯口上方。此外，階段 2 路徑約束是保持茶壺直立，避免茶水灑出。最後的階段 3 子目標(biāo)限制是到達(dá)指定的倒茶角度。

使用 ReKep 將操作任務(wù)定義成約束最佳化問(wèn)題

使用 ReKep，可將機(jī)器人操作任務(wù)轉(zhuǎn)換成一個(gè)涉及子目標(biāo)和路徑的約束最佳化問(wèn)題。這裡將末端執(zhí)行器姿勢(shì)記為 ? ∈ SE (3)。為了執(zhí)行操作任務(wù)，這裡的目標(biāo)是取得整體的離散時(shí)間軌跡?_{1:T}：

也就是說(shuō)，對(duì)於每個(gè)階段i，此最佳化問(wèn)題的目標(biāo)是：基於給定的ReKep 約束集和輔助成本，找到一個(gè)末端執(zhí)行器姿勢(shì)作為下一個(gè)子目標(biāo)（及其相關(guān)時(shí)間），以及實(shí)現(xiàn)該子目標(biāo)的姿勢(shì)序列。此公式可視為軌跡優(yōu)化中的 direct shooting。

分解和演算法實(shí)例化

為了能即時(shí)地求解上述公式1，該團(tuán)隊(duì)選擇對(duì)整體問(wèn)題進(jìn)行分解，僅針對(duì)下一個(gè)子目標(biāo)和達(dá)成該子目標(biāo)的相應(yīng)路徑進(jìn)行最佳化。演算法 1 給出了該過(guò)程的偽代碼。

其中子目標(biāo)問(wèn)題的解公式為：

路徑問(wèn)題的解公式為：

路徑問(wèn)題的解公式為：

回溯

現(xiàn)實(shí)環(huán)境複雜多變，有時(shí)候在任務(wù)進(jìn)行過(guò)程中，上一階段的子目標(biāo)限制可能不再成立（例如倒茶時(shí)茶杯被拿走了），這時(shí)候需要重新規(guī)劃。該團(tuán)隊(duì)的做法是檢查路徑是否有問(wèn)題。如果發(fā)現(xiàn)問(wèn)題，就迭代式地回溯到前一階段。

關(guān)鍵點(diǎn)的前向模型

為了求解2 和3 式，團(tuán)隊(duì)使用了一個(gè)前向模型h，其可在最佳化過(guò)程中根據(jù)?? 估計(jì)??。具體來(lái)說(shuō)，給定末端執(zhí)行器姿勢(shì)?? 的變化，透過(guò)應(yīng)用相同的相對(duì)剛性變換?′[grasped] = T_{??}??[grasped] 來(lái)計(jì)算關(guān)鍵點(diǎn)位置的變化，同時(shí)假設(shè)其它關(guān)鍵點(diǎn)保持靜止。

關(guān)鍵點(diǎn)提議和 ReKep 生成

為了讓該系統(tǒng)能在實(shí)際情況下自由地執(zhí)行各種任務(wù)，該團(tuán)隊(duì)還用上了大模型！具體來(lái)說(shuō)，他們使用大型視覺(jué)模型和視覺(jué) - 語(yǔ)言模型設(shè)計(jì)了一套管道流程來(lái)實(shí)現(xiàn)關(guān)鍵點(diǎn)提議和 ReKep 生成。

關(guān)鍵點(diǎn)提議

給定一張 RGB 圖像，首先用 DINOv2 提取圖塊層面的特徵 F_patch。然後執(zhí)行雙線性內(nèi)插以將特徵上取樣到原始影像大小，F(xiàn)_interp。為了確保提議涵蓋場(chǎng)景中的所有相關(guān)物體，他們使用了 Segment Anything（SAM）來(lái)提取場(chǎng)景中的所有遮罩 M = {m_1, m_2, ... , m_n}。

對(duì)於每個(gè)遮罩 j，使用 k 均值（k = 5）和餘弦相似度度量對(duì)遮罩特徵 F_interp [m_j] 進(jìn)行聚類(lèi)。聚類(lèi)的質(zhì)心用作候選關(guān)鍵點(diǎn)，再使用經(jīng)過(guò)校準(zhǔn)的 RGB-D 相機(jī)將其投影到世界坐標(biāo) ?^3。距離候選關(guān)鍵點(diǎn) 8cm 以內(nèi)的其它候選將被過(guò)濾掉。總體而言，團(tuán)隊(duì)發(fā)現(xiàn)此過(guò)程可以識(shí)別大量細(xì)粒度且語(yǔ)義上有意義的物件區(qū)域。

ReKep 產(chǎn)生

取得候選關(guān)鍵點(diǎn)後，再將它們疊加在原始 RGB 影像上，並標(biāo)註數(shù)字。結(jié)合特定任務(wù)的語(yǔ)言指令，再查詢 GPT-4o 以產(chǎn)生所需階段的數(shù)量以及每個(gè)階段 i 對(duì)應(yīng)的子目標(biāo)限制和路徑限制。

實(shí)驗(yàn)

團(tuán)隊(duì)透過(guò)實(shí)驗(yàn)對(duì)這套約束設(shè)計(jì)進(jìn)行了驗(yàn)證，並嘗試解答了以下三個(gè)問(wèn)題：1. 該框架自動(dòng)建構(gòu)和合成操作行為的表現(xiàn)如何？

2. How well does the system generalize to new objects and manipulation strategies?

3. How might various components contribute to system failure?

Using ReKep to operate two robotic arms

They examined the system through a series of tasks for multi-stage (m), field/practical scenarios (w), two-hand (b) and reaction (r) behavior. These tasks include pouring tea (m, w, r), arranging books (w), recycling cans (w), taping boxes (w, r), folding laundry (b), packing shoes (b) and collaborative folding (b, r).

The results are shown in Table 1, where success rate data are reported.

Overall, the newly proposed system is able to construct the correct constraints and execute in an unstructured environment even if task-specific data or environment models are not provided they. Notably, ReKep effectively handles the core puzzle of each task.

Here are some animations of the actual execution process:

Generalization of the operation strategy

The team explored the generalization performance of the new strategy based on the laundry folding task. In short, it’s about seeing if the system can fold different kinds of clothes — which requires geometry and common sense reasoning.

GPT-4o is used here, and the prompt contains only generic instructions without contextual examples. "Strategy success" means that the generated ReKep is feasible, and "execution success" measures the system success rate of a given feasible strategy for each type of clothing.

The results are interesting. It can be seen that the system uses different strategies for different clothes, and some of the methods of folding clothes are the same as those commonly used by humans.

Analyzing system errors

The design of the framework is modular and therefore easy to Convenient for analyzing system errors. The team manually inspected the failure cases encountered in the experiments in Table 1 and then based on this calculated the likelihood that the modules caused the error, taking into account their temporal dependencies in the pipeline process. The results are shown in Figure 5.

It can be seen that among the different modules, the key point tracker produces the most errors because frequent and intermittent occlusions make it difficult for the system to track accurately.

以上是李飛飛團(tuán)隊(duì)提出ReKep，讓機(jī)器人具備空間智能，還能整合GPT-4o的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！