Skip to main content

以下三個影片,依序為

場景一改變夾取物件的位置

在收集訓練資料時,我們刻意將夾取物件放置於不同位置,以避免語言命令特徵過度依賴物件的位置,而忽略物件本身的特徵。在場景一中,我們改變了物件的位置,並額外加入其他物件,進行模擬實驗測試。

場景二改變 Gazebo 模擬環境的背景顏色

4右下角顯示了攝影機即時擷取的畫面,從畫面中可以觀察到,TMRobot 在移動過程中,所擷取的影像包含大量的背景訊息。在場景二中,我們通過更改背景顏色進行模擬實驗,以進一步研究背景對 TMRobot 任務執行可靠性的影響。

場景三改變語言命令

我們嘗試修改語言命令,以評估 Lite InstruDemon Task GenNet 的語言模組(圖3中的 ALBERT 大語言模型)對命令的理解能力。在此實驗中,我們將訓練期間使用的語言命令 Please pick up the copper block to the left of the wooden block 更改為 Please pick up the wooden block 並進行模擬測試。

experimental_videos

  • Video file
  • Video file
  • Video file