哥倫比亞大學(xué):高度靈巧的機器人手可以在黑暗中操作 - 就像我們一樣
哥倫比亞工程師設(shè)計了一種機器人手,這是同類產(chǎn)品中個將觸覺與運動學(xué)習(xí)算法相結(jié)合的設(shè)備——它不依賴視覺來操縱物體。
想想當(dāng)你晚上在家按下電視遙控器上的按鈕時,或者在餐廳使用各種餐具和玻璃器皿時,你用手做什么。這些技能都是基于觸摸,當(dāng)你在看電視節(jié)目或從菜單中選擇一些東西時。我們的手和手指是非常熟練的機制,對靴子非常敏感。
機器人研究人員長期以來一直試圖在機器人手中創(chuàng)造“真正”的靈巧性,但令人沮喪的是,這個目標一直難以實現(xiàn)。機器人抓手和吸盤可以拾取和放置物品,但更靈巧的任務(wù),如組裝、插入、重新定向、包裝等。一直停留在人類操縱的領(lǐng)域。然而,在傳感技術(shù)和機器學(xué)習(xí)技術(shù)處理傳感數(shù)據(jù)的推動下,機器人操縱領(lǐng)域正在迅速變化。
高度靈巧的機器人手甚至可以在黑暗中工作
哥倫比亞工程學(xué)院的研究人員展示了一種高度靈巧的機器人手,它將先進的觸覺與運動學(xué)習(xí)算法相結(jié)合,以實現(xiàn)高水平的靈巧性。
為了展示技能,該團隊選擇了一項困難的操作任務(wù):對手中形狀不均勻的抓取物體執(zhí)行任意大的旋轉(zhuǎn),同時始終將物體保持在穩(wěn)定、安全的固定狀態(tài)。這是一項非常困難的任務(wù),因為它需要不斷重新定位一部分手指,而其他手指必須保持物體穩(wěn)定。手不僅能夠執(zhí)行這項任務(wù),而且完全基于觸摸感應(yīng),而且沒有任何視覺反饋。
除了新的靈巧度之外,這只手在沒有任何外部攝像頭的情況下工作,因此不受照明、遮擋或類似問題的影響。事實上,手不依賴視覺來操縱物體,這意味著它可以在非常困難的照明條件下這樣做,這會混淆基于視覺的算法 - 它甚至可以在黑暗中操作。
“雖然我們的演示是概念驗證任務(wù),旨在說明手的能力,但我們相信這種靈巧程度將為現(xiàn)實世界中的機器人操作開辟全新的應(yīng)用,”機械工程和計算機科學(xué)系副教授Matei Ciocarlie說。.“一些更直接的用途可能是物流和材料處理,有助于緩解近年來困擾我們經(jīng)濟的供應(yīng)鏈問題,以及工廠的先進制造和組裝。
利用基于光學(xué)的觸覺手指
在早期的工作中,Ciocarlie的小組與電氣工程教授Ioannis Kymissis合作,開發(fā)了新一代基于光學(xué)的觸覺機器人手指。這是個以亞毫米級精度實現(xiàn)接觸定位的機器人手指,同時提供對復(fù)雜多曲面的完全覆蓋。此外,緊湊的封裝和手指的低線數(shù)允許輕松集成到完整的機器人手中。
在CIocarlie的博士研究員Gagan Khandate領(lǐng)導(dǎo)的這項新工作中,研究人員設(shè)計并建造了一個有五個手指和15個獨立驅(qū)動關(guān)節(jié)的機器人手 - 每個手指都配備了團隊的觸摸傳感技術(shù)。下一步是測試觸覺手執(zhí)行復(fù)雜操作任務(wù)的能力。為此,他們使用了新的運動學(xué)習(xí)方法,或者機器人通過練習(xí)學(xué)習(xí)新的物理任務(wù)的能力。特別是,他們使用了一種稱為深度強化學(xué)習(xí)的方法,并增強了他們開發(fā)的新算法,以有效探索可能的運動策略。 運動學(xué)習(xí)算法的輸入完全由團隊的觸覺和本體感覺數(shù)據(jù)組成,沒有任何視覺。使用模擬作為訓(xùn)練場,由于現(xiàn)代物理模擬器和高度并行的處理器,機器人在幾個小時的實時時間內(nèi)完成了大約一年的練習(xí)。然后,研究人員將這種在模擬中訓(xùn)練的操作技能轉(zhuǎn)移到真正的機器人手上,這能夠達到團隊希望的靈巧程度。Ciocarlie指出,“該領(lǐng)域的定向目標仍然是家庭中的輔助機器人,這是真正靈巧的終試驗場。在這項研究中,我們已經(jīng)證明,僅基于觸摸感應(yīng),機器人手也可以非常靈巧。一旦我們還將視覺反饋與觸摸一起添加到混合中,我們希望能夠?qū)崿F(xiàn)更多的靈巧性,并有開始接近人手的復(fù)制。 終,Ciocarlie觀察到,在現(xiàn)實世界中有用的物理機器人需要抽象的語義智能(從概念上理解世界是如何運作的)和具身智能(與世界進行物理交互的技能)。OpenAI的GPT-4或Google的Palm等大型語言模型旨在提供前者,而本研究中實現(xiàn)的操作靈活性代表了后者的互補進步。 例如,當(dāng)被問及如何制作三明治時,ChatGPT 會輸入一個分步計劃作為回應(yīng),但需要一個靈巧的機器人來執(zhí)行該計劃并實際制作三明治。同樣,研究人員希望物理熟練的機器人能夠?qū)⒄Z義智能從純粹的虛擬互聯(lián)網(wǎng)世界中取出,并將其很好地用于現(xiàn)實世界的物理任務(wù),甚至可能在我們的家中。教手執(zhí)行復(fù)雜任務(wù)
機器人在幾個小時的實時時間內(nèi)完成了大約一年的練習(xí)
終目標:將抽象智能與具身智能相結(jié)合