哥倫比亞大學:高度靈巧的機器人手可以在黑暗中操作 - 就像我們一樣
哥倫比亞工程師設計了一種機器人手，這是同類產品中個將觸覺與運動學習算法相結合的設備——它不依賴視覺來操縱物體。
想想當你晚上在家按下電視遙控器上的按鈕時，或者在餐廳使用各種餐具和玻璃器皿時，你用手做什么。這些技能都是基于觸摸，當你在看電視節目或從菜單中選擇一些東西時。我們的手和手指是非常熟練的機制，對靴子非常敏感。
機器人研究人員長期以來一直試圖在機器人手中創造“真正”的靈巧性，但令人沮喪的是，這個目標一直難以實現。機器人抓手和吸盤可以拾取和放置物品，但更靈巧的任務，如組裝、插入、重新定向、包裝等。一直停留在人類操縱的領域。然而，在傳感技術和機器學習技術處理傳感數據的推動下，機器人操縱領域正在迅速變化。
高度靈巧的機器人手甚至可以在黑暗中工作
哥倫比亞工程學院的研究人員展示了一種高度靈巧的機器人手，它將先進的觸覺與運動學習算法相結合，以實現高水平的靈巧性。
為了展示技能，該團隊選擇了一項困難的操作任務：對手中形狀不均勻的抓取物體執行任意大的旋轉，同時始終將物體保持在穩定、安全的固定狀態。這是一項非常困難的任務，因為它需要不斷重新定位一部分手指，而其他手指必須保持物體穩定。手不僅能夠執行這項任務，而且完全基于觸摸感應，而且沒有任何視覺反饋。
除了新的靈巧度之外，這只手在沒有任何外部攝像頭的情況下工作，因此不受照明、遮擋或類似問題的影響。事實上，手不依賴視覺來操縱物體，這意味著它可以在非常困難的照明條件下這樣做，這會混淆基于視覺的算法 - 它甚至可以在黑暗中操作。
“雖然我們的演示是概念驗證任務，旨在說明手的能力，但我們相信這種靈巧程度將為現實世界中的機器人操作開辟全新的應用，”機械工程和計算機科學系副教授Matei Ciocarlie說。.“一些更直接的用途可能是物流和材料處理，有助于緩解近年來困擾我們經濟的供應鏈問題，以及工廠的先進制造和組裝。
利用基于光學的觸覺手指
在早期的工作中，Ciocarlie的小組與電氣工程教授Ioannis Kymissis合作，開發了新一代基于光學的觸覺機器人手指。這是個以亞毫米級精度實現接觸定位的機器人手指，同時提供對復雜多曲面的完全覆蓋。此外，緊湊的封裝和手指的低線數允許輕松集成到完整的機器人手中。
在CIocarlie的博士研究員Gagan Khandate領導的這項新工作中，研究人員設計并建造了一個有五個手指和15個獨立驅動關節的機器人手 - 每個手指都配備了團隊的觸摸傳感技術。下一步是測試觸覺手執行復雜操作任務的能力。為此，他們使用了新的運動學習方法，或者機器人通過練習學習新的物理任務的能力。特別是，他們使用了一種稱為深度強化學習的方法，并增強了他們開發的新算法，以有效探索可能的運動策略。 運動學習算法的輸入完全由團隊的觸覺和本體感覺數據組成，沒有任何視覺。使用模擬作為訓練場，由于現代物理模擬器和高度并行的處理器，機器人在幾個小時的實時時間內完成了大約一年的練習。然后，研究人員將這種在模擬中訓練的操作技能轉移到真正的機器人手上，這能夠達到團隊希望的靈巧程度。Ciocarlie指出，“該領域的定向目標仍然是家庭中的輔助機器人，這是真正靈巧的終試驗場。在這項研究中，我們已經證明，僅基于觸摸感應，機器人手也可以非常靈巧。一旦我們還將視覺反饋與觸摸一起添加到混合中，我們希望能夠實現更多的靈巧性，并有開始接近人手的復制。 終，Ciocarlie觀察到，在現實世界中有用的物理機器人需要抽象的語義智能（從概念上理解世界是如何運作的）和具身智能（與世界進行物理交互的技能）。OpenAI的GPT-4或Google的Palm等大型語言模型旨在提供前者，而本研究中實現的操作靈活性代表了后者的互補進步。 例如，當被問及如何制作三明治時，ChatGPT 會輸入一個分步計劃作為回應，但需要一個靈巧的機器人來執行該計劃并實際制作三明治。同樣，研究人員希望物理熟練的機器人能夠將語義智能從純粹的虛擬互聯網世界中取出，并將其很好地用于現實世界的物理任務，甚至可能在我們的家中。教手執行復雜任務
機器人在幾個小時的實時時間內完成了大約一年的練習
終目標：將抽象智能與具身智能相結合
