首頁?行業  »   機器人  »   正文

MIT研究:看到即知曉觸感,憑觸覺想象物體,讓機器人識別物體更容易

MIT研究:看到即知曉觸感,憑觸覺想象物體,讓機器人識別物體更容易

先有觸覺,后有言語。它是最初的語言,也是最后的語言,它總是講真話。雖然觸覺給了我們一個感受物理世界的通道,但眼睛幫助我們立即理解這些觸覺信號的全貌。

被編程為看到或感覺到的機器人使用這些信號時不能互換。為了更好地彌合這種感覺差距,CSAIL的研究人員提出了一種預測性AI,可以通過觸摸了解看到的,并通過視覺了解觸感。

團隊的系統可以從視覺輸入創建逼真的觸覺信號,并直接從那些觸覺輸入預測哪個對象和哪個部分被觸摸。他們使用KUKA機器人手臂和一個名為GelSight的特殊觸覺傳感器。

該團隊使用簡單的網絡攝像頭記錄了近200件物品,如工具,家用產品,織物等,觸摸次數超過12000次。將這12000個視頻片段分解為靜態幀,該團隊編制了“VisGel”,這是一個包含300多萬個視覺和觸覺配對圖像的數據集。

MIT研究:看到即知曉觸感,憑觸覺想象物體,讓機器人識別物體更容易

“通過觀察現場,我們的模型可以想象觸摸平坦表面或鋒利邊緣的感覺”,主要作者Yunzhu Li在論文中說。“通過盲目地觸摸,我們的模型可以純粹從觸覺中預測與環境的相互作用。將這兩種感官結合在一起,可以增強機器人的能力并減少我們在涉及操縱和抓取物體的任務時可能需要的數據。“

團隊的技術通過使用VisGel數據集以及GAN來解決這個問題。

由視覺到觸覺

人類可以通過觀察物體來推斷觸摸物體的感受。為了更好地為機器提供這種能力,系統首先必須定位觸摸的位置,然后推斷出有關該區域的形狀和感覺的信息。

MIT研究:看到即知曉觸感,憑觸覺想象物體,讓機器人識別物體更容易

沒有任何機器人與物體交互的參考圖像幫助系統對物體和環境的細節進行編碼。然后,當機器人手臂工作時,模型可以簡單地將當前幀與其參考圖像進行比較,識別出觸摸的位置和尺度。

這看起來就像給系統輸入電腦鼠標的圖像,然后看到模型預測的物體應該被觸摸的區域,以便拾取,這將極大地幫助機器計劃更安全、更有效的行動。

由觸覺到視覺

對于觸覺到視覺,模型的目標是基于觸覺數據產生視覺圖像。該模型分析了一個觸覺圖像,然后計算出接觸位置的形狀和材料。然后回顧參考圖像,產生互動的視覺。

MIT研究:看到即知曉觸感,憑觸覺想象物體,讓機器人識別物體更容易

例如,如果在測試過程中給模型輸入鞋子的觸覺數據,它就能生成鞋子最可能被觸碰的位置的圖像。

在沒有視覺數據的情況下,比如比如光線不足或工人在對容器內容不知情的情況下需要把手伸進去時,這種能力可以幫助完成任務。

展望未來

當前數據集僅包含受控環境中的交互示例。該團隊希望通過在更多非結構化區域收集數據,或使用新的麻省理工學院設計的觸覺手套來改善這一點,從而更好地增加數據集的大小和多樣性。

還有一些細節是很難從切換模式中推斷出來的,比如僅僅通過觸摸就能知道一個物體的顏色,或者不用實際按壓就能知道沙發有多軟。研究人員表示,這可以通過創建更健壯的不確定性模型來改善,從而擴大可能結果的分布。

在未來,這種類型的模型可以幫助實現視覺和機器人之間更加和諧的關系,特別是對象識別,抓取,更好的場景理解,以及幫助在輔助或制造環境中進行無縫的人機集成。

像這樣的方法有可能對機器人非常有用,你需要回答的問題是這個物體是硬的還是軟的?或者,如果我提起這個杯子的把手,我的握力會有多好?這是一個非常具有挑戰性的問題,因為信號是如此不同,所以這個模型具有巨大的潛力。

歡迎關注ATYUN官方公眾號,商務合作及內容投稿請聯系郵箱:[email protected]

發表評論