李菲菲隊(duì)的機(jī)器人模擬訓(xùn)練場(chǎng)2.0版本已經(jīng)到了！

擁有8000多個(gè)交互場(chǎng)景的模擬環(huán)境IGibson又進(jìn)化了！

而在iGibson 2.0演進(jìn)之后，核心就是一句話:

機(jī)器人，別接球了，做家務(wù)吧！

比如模擬環(huán)境中溫度，濕度，切片等物理狀態(tài)增加，所有機(jī)器人迫切需要提供洗，切，煮一條龍服務(wù):

而且外觀顏色確實(shí)會(huì)變做飯

晚飯后，你可以擦桌子上的污漬，收拾桌子。

把不用的蔬菜放回冰箱，看著它們變凍。

人類也可以通過虛擬現(xiàn)實(shí)進(jìn)入模擬環(huán)境，向機(jī)器人展示如何做一件標(biāo)準(zhǔn)的家務(wù):

現(xiàn)在，讓我們來看看這個(gè)版本更新的具體內(nèi)容。

添加5種物理狀態(tài)

好了，現(xiàn)在我們的機(jī)器人玩家已經(jīng)進(jìn)入模擬環(huán)境，它會(huì)做飯了。

這道菜將使用此次iGibson 2.0擴(kuò)展的五種新物理狀態(tài):

濕度

從洗菜開始。

洗菜用水來自流體模擬系統(tǒng)。

比如下面水槽上的水龍頭:

水龍頭被用作液滴源來產(chǎn)生液滴，然后被收集在其他容器中或被浸泡物吸收。

在iGibson 2.0中，物體吸收的液滴數(shù)量對(duì)應(yīng)于物體的潤(rùn)濕程度。

切口

洗完之后，開始切菜。

但是這里有一個(gè)問題:

一般來說，仿真環(huán)境中的對(duì)象假設(shè)為節(jié)點(diǎn)固定，表面為三角形的三維結(jié)構(gòu)，不容易實(shí)現(xiàn)切割的動(dòng)作。

而iGibson 2.0通過更新切片狀態(tài)和保持對(duì)象實(shí)例的擴(kuò)展?fàn)顟B(tài)來完成切割動(dòng)作。

當(dāng)握住切片工具并施加超過切片力閾值的力時(shí)，切片狀態(tài)將變?yōu)檎妗?/p>

此時(shí)，模擬器將用兩個(gè)對(duì)象替換一個(gè)對(duì)象:

這兩個(gè)剪切對(duì)象將繼承整個(gè)對(duì)象的擴(kuò)展對(duì)象狀態(tài)。

但是，這種轉(zhuǎn)換是不可逆的，對(duì)象將在接下來的模擬時(shí)間內(nèi)一直保持這種切片狀態(tài)。

溫度

現(xiàn)在，我們要用這個(gè)微波爐來炸魚:

為了讓溫度自然變化，iGibson 2.0將WordNet層次中的對(duì)象類別標(biāo)注為熱源。

這是iGibson 2.0中的一項(xiàng)新規(guī)定:

也就是說，每個(gè)模擬的對(duì)象應(yīng)該是WordNet中現(xiàn)有對(duì)象類的一個(gè)實(shí)例。

這種語義結(jié)構(gòu)可以將特性與同一類的所有實(shí)例聯(lián)系起來。

好了，現(xiàn)在我們要通過這個(gè)熱源來改變其他物體的溫度。

就像現(xiàn)實(shí)中的微波爐一樣，被加熱的物體被手觸摸后會(huì)開始升溫。

具體溫度將發(fā)生如下變化:

。Sim:模擬時(shí)間r:熱源變化率

而且，每個(gè)物體過去達(dá)到的最高溫度的歷史價(jià)值也會(huì)保留下來。

比如上圖中的魚，過去已經(jīng)達(dá)到了烹飪或者燃燒的溫度。

因此，即使熱源關(guān)閉后，它也會(huì)顯示出被烘烤或燒焦的外觀。

也就是說，如果在模擬環(huán)境中燒了，那就是真的燒了！

清潔度

清潔度，換句話說，就是污垢和污漬的程度。

在iGibson 2.0中，對(duì)象在初始化時(shí)可能包含灰塵或污垢顆粒，可以采取措施來改變對(duì)象的清潔度。

因此，烹飪后，機(jī)器人可以選擇用布擦拭灰塵顆粒:

或者使用濕工具去除污漬:

狀態(tài)轉(zhuǎn)換

IGibson 2.0為部分對(duì)象提供了開和關(guān)的切換功能，同時(shí)保持其內(nèi)部狀態(tài)和外觀變化。

這種狀態(tài)通過觸摸虛擬固定鏈接切換。

例如，下烤箱打開時(shí)外觀會(huì)發(fā)生變化。

最后，機(jī)器人關(guān)閉了設(shè)備，成功完成了任務(wù)。

如此穩(wěn)定，逼真，便捷的仿真環(huán)境自然意味著機(jī)器人可以訓(xùn)練越來越復(fù)雜的任務(wù)。

基于邏輯謂詞的生成系統(tǒng)

加入這些新的物理狀態(tài)后，模擬室內(nèi)環(huán)境中的一系列基本活動(dòng)就足夠了。

但是如果我們用日常生活中的自然語言來描述這些狀態(tài)，emmm。.

就像重慶人對(duì)外人的微辣一樣，在個(gè)體理解上肯定存在語義差異。

因此，基于常見的自然語言，iGibson 2.0定義了一組邏輯謂詞:

這組邏輯謂詞將擴(kuò)展對(duì)象狀態(tài)映射到對(duì)象的邏輯狀態(tài)，并以符號(hào)方式描述對(duì)象的狀態(tài)。

基于不同的邏輯謂詞，我們將對(duì)不同的有效對(duì)象進(jìn)行采樣。

例如，對(duì)于基于對(duì)象擴(kuò)展?fàn)顟B(tài)的謂詞，如凍結(jié)，將對(duì)滿足謂詞要求的擴(kuò)展?fàn)顟B(tài)值進(jìn)行采樣。

如果它是像OnTopOf這樣的運(yùn)動(dòng)謂詞，則有必要將光線投射和分析方法結(jié)合起來，以確保對(duì)象處于靜態(tài)物理狀態(tài):

此時(shí)，我們得到了一個(gè)基于邏輯謂詞的生成系統(tǒng)。

在這個(gè)系統(tǒng)中，只要我們指定一個(gè)邏輯謂詞列表，就可以更快更方便地生成模擬場(chǎng)景。

虛擬現(xiàn)實(shí)允許機(jī)器人向人類學(xué)習(xí)

現(xiàn)在，機(jī)器人訓(xùn)練的場(chǎng)地已經(jīng)搭建好了。

我們的最終目標(biāo)是讓機(jī)器人通過訓(xùn)練完成越來越復(fù)雜的任務(wù)。

p>

那么，或許可以讓機(jī)器人來看看人類是怎么做的，進(jìn)而開發(fā)出新的解決方案。

于是，iGibson 2.0 引入了 VR，讓人類也能進(jìn)入機(jī)器人訓(xùn)練的場(chǎng)景中:

團(tuán)隊(duì)根據(jù)通過 OpenVR 與市面上主要的 VR 頭盔兼容，并有一個(gè)額外的跟蹤器來控制主體。

通過 iGibson 的 PBR 渲染功能，系統(tǒng)會(huì)以最高 90 幀/秒的速度接收從虛擬化身的頭部視角生成的立體圖像。

而通過人類在 VR 環(huán)境中完成任務(wù)的流程，研究人員也能更加便捷地收集到長(zhǎng)期，復(fù)雜，雙手動(dòng)移動(dòng)操作任務(wù)的演示數(shù)據(jù)。

當(dāng)然，抓小球的經(jīng)典任務(wù)也不能忘。

為了提供更自然的抓取體驗(yàn)，團(tuán)隊(duì)實(shí)現(xiàn)了一個(gè)輔助抓取機(jī)制:

在用戶通過抓取閾值后，只要物體在手指和手掌之間，就能在手掌和目標(biāo)物體之間形成一個(gè)額外的約束。

而最后，李飛飛團(tuán)隊(duì)也表示:

iGibson 是一個(gè)完全開源的，面向大型場(chǎng)景交互任務(wù)的模擬環(huán)境。

我們希望 iGibson 2.0 能成為社區(qū)有用的工具，減少為不同任務(wù)創(chuàng)建模擬環(huán)境的負(fù)擔(dān)，促進(jìn)具身 AI研究的解決方案的發(fā)展。

下載地址:

論文地址:

官網(wǎng):

參考鏈接:

本文地址：http://www.dayishuiji.com/finance/10484.html - 轉(zhuǎn)載請(qǐng)保留原文鏈接。

免責(zé)聲明：本文轉(zhuǎn)載上述內(nèi)容出于傳遞更多信息之目的，不代表本網(wǎng)的觀點(diǎn)和立場(chǎng)，故本網(wǎng)對(duì)其真實(shí)性不負(fù)責(zé)，也不構(gòu)成任何其他建議；本網(wǎng)站圖片，文字之類版權(quán)申明，因?yàn)榫W(wǎng)站可以由注冊(cè)用戶自行上傳圖片或文字，本網(wǎng)站無法鑒別所上傳圖片或文字的知識(shí)版權(quán)，如果侵犯，請(qǐng)及時(shí)通知我們，本網(wǎng)站將在第一時(shí)間及時(shí)刪除。