HALO 人形機器人研究，合成住宅訓練如何走進六個陌生環境？
HALO 以一千個合成住宅訓練人形機器人，六個真實環境的單項成功率為91%。解析三層控制、連續任務落差、機身運算與開放程式的重現條件。
人形機器人在展示影片裡跨過桌子，不代表換一個房間仍能做完同樣的動作。家具位置和相機視角都會改變它看到的世界。
Apple 研究團隊在 11 月 4 日提交 HALO 預印本，並於 11 月 6 日公開介紹系統，嘗試用合成住宅訓練全身動作。
團隊沒有為這套訓練流程收集真人遙控機器人的示範，而是在一千個程序生成的住宅中，製作影像、指令與動作配對資料。
研究在六個未建圖的真實環境完成三百六十次單項測試，作者回報平均成功率為 91%。三種連續任務另在一個真實環境測試，平均為 70%。
兩組數字的差距很有意義，因為走過門之後朝向哪裡，會決定下一個目標是否還在相機裡。單一步驟順利，未必能自然接成整個工作。
我認為這項研究最值得追的是合成資料與機身控制如何接起來。它已展示陌生環境中的動作遷移，長流程任務與接觸判斷仍決定離實用有多遠。
要看懂這項進展，得先理解它如何把一個人的口頭要求，轉成機器人關節能追上的動作。
HALO 如何把口頭指令變成全身動作？
系統把選任務、產生動作與維持機身控制交給三個不同速度的環節，因為理解一句話和保持機身平衡，不需要以同樣頻率進行。
最外層是任務編排器。它讀取使用者要求與相機畫面，把工作拆成目前能執行的子任務，例如先走向椅子，再轉身坐下。
這個環節約每兩秒更新一次，也就是約 0.5 Hz。完成一項後才往下走，失敗時可以重試，因此它負責的是順序與進度。
中間的動作生成器，則根據眼前影像和當前子任務，約每秒產生三次全身動作計畫。它得處理的是身體接下來怎麼移動。
每份計畫涵蓋未來五秒，但機器人只先承諾執行前半秒。新的畫面進來後，再生成接續計畫，才有機會跟上環境改變。
計畫更新時，身體不能突然換一套動作
如果新計畫每次都從完全不同的姿勢開始，機器人會在切換時出現不連續。團隊因此在訓練中教模型保留已承諾的片段，讓下一段接得上。
最內層的追蹤器以每秒五十次的頻率讀取深度與自身姿勢，追隨上層計畫並輸出關節目標。這一層把較慢的計畫轉成持續控制。
三個速度說明，能用語言規劃並不等於能直接控制關節。中間仍需要動作模型與高頻控制，否則一句正確指令也可能換來不穩定的執行。
這個分工也方便定位失敗。選錯目標、生成不合適的姿勢，以及追不上姿勢，分別落在不同環節，後續改善才有明確方向。
延伸閱讀：VFlash 視覺規劃研究，機器人為何不用逐字寫完每一條軌跡？
一千個合成住宅，如何變成可學習的動作資料？
訓練的重點是讓同一類動作遇到不同空間與視覺條件，而非只增加一段示範的重播次數。模型必須知道家具變了，動作仍要符合空間。
資料流程先產生符合任務的動作片段，再把它放到程序生成的住宅。放置時會檢查碰撞，因此並非隨意把一個行走動畫塞進房間。
例如坐椅子，不能只讓身體往下。動作的終點需要對上椅面，走近與轉身的片段也要接起來，才會形成可用的示範。
接著，團隊用貼近實機的第一人稱相機設定渲染畫面，並加入模糊、光線與色調變化。這讓模型少依賴某一種乾淨的模擬外觀。
主要訓練資料合計三百小時，來自一千個合成住宅。資料生成使用二百五十張 H100 約四十八小時，增加資料仍需要相應運算投入。
動作生成器主要從配對資料模仿該怎麼做，追蹤器則透過模擬中的強化學習，把跟隨姿勢的表現轉成回饋。兩者學習的工作不同，因此資料也不能只準備漂亮影片。
例如畫面看起來像已經坐下，仍需要對應的身體位置與關節狀態。沒有動作這一側的監督，視覺模型難以知道哪一種身體配置才能完成同樣畫面。
流程在保留候選動作前安排多項幾何檢查，篩掉滑動、穿透或不合適的跳動。這讓訓練樣本更接近可追蹤的路徑，而非把不合理動作一併交給控制器補救。
因此，這條路徑改變的是擴增資料的方式。團隊能以運算增加場景，省去為每段新資料安排真人遙控，但新增任務仍需要人工設計。
場景變多的效果，研究如何拆開檢查？
團隊在其他條件固定時改變場景數，並用未見過的模擬環境測試坐下任務。場景從一個增加到一百個，成功率由 43% 升到 81%。
再增加到一千個時，這項測試達到 84%。這些結果支持空間多樣性的幫助，但測量範圍是模擬中的坐下任務，和真實測試的總平均不同。
同一組消融實驗也檢查計畫連續性。使用訓練時就納入的接續方式，坐下結果為 84%，只在推論時補接續則為 66%。
這讓訓練資料和執行方法的關係更清楚。即使模型看過很多房間，若新舊計畫切換不順，機身仍可能無法把已學到的動作完成。
91% 成功率涵蓋哪些測試？
這個數字來自六項動作在六個真實場景中的單項測試，不能直接拿來代表家事完成率。每個任務在每個場景各做十次，合計三百六十次。
任務包括走向指定物件、坐椅子、側身通過半開門、蹲下或爬過低障礙，以及推箱子。它們主要檢驗移動與全身姿勢的配合。
單項成功要求完成任務，而且沒有摔倒或卡住。因此模型即使知道目的地在哪裡，只要過程無法安全走完，也不能算完成這次試驗。
實際測試環境沒有在訓練中出現，團隊也沒有先掃描或建圖。這讓結果針對的是陌生空間中的遷移，而非沿著事先畫好的路線重播。
分項表現仍有差別。例如蹲下通過障礙在這批測試得到 100%，推箱子則為 88%。前者沒有失敗，不代表同一類動作在任意家庭都不會失敗。
原因是場景只有六個，每格也只有十次。這些測試比單支成功影片有更多資訊，但尚不足以涵蓋家具材質、地板與擁擠程度的所有組合。
研究另在一百個模擬場景測量相同六項動作，共六千次，平均也是 91%。兩組相同平均可作對照，卻不能把模擬次數加入真實測試分母。
這種分開記錄的方式很有用。模擬可以大量查出特定改動造成的差異，實機則檢查這些差異是否跨過感測、延遲與物理條件。
延伸閱讀：RoboColosseum 實機評測公開，一萬五千次測試如何比較機器人能力？
為什麼連續任務更容易卡住？
機器人可能完成當前動作，卻在結束時失去下一個目標的視野。因此，兩個各自容易的動作接在一起，成功率未必等於兩者簡單相乘。
研究在一個真實環境測試三種序列，每種各十次。穿門後走向目標得到 100%，蹲下後坐下為 60%，蹲下、走向目標再推箱子為 50%。
三者平均為 70%，分母合計三十次。它和六場景的單項測試回答不同問題，這裡關心的是一個步驟留下的狀態，能不能支撐下一步。
在最長那組序列的五次失敗中，有三次是蹲下結束後頭部沒有朝向箱子。箱子不在畫面裡，機器人就被其他物件分散注意力。
另外的蹲下後坐下案例中，結束姿勢也曾讓機器人把右側沙發當成目標。上一步動作完成了，下一步卻從錯誤的觀察條件開始。
這說明補強方向可能包括原地轉向、搜尋目標與恢復觀察。只提高單項動作的分數，未必能解決目標一開始就看不見的情況。
視覺也無法代替所有接觸資訊
論文指出，系統主要依賴視覺，沒有直接感知接觸的能力。物件離開鏡頭或被遮住後，模型缺少訊號確認它仍在原來的位置。
這會限制需要持續接觸的工作。例如推物件時，畫面可以幫助判斷位置，接觸是否穩定卻還牽涉手部與物件之間的力與滑動。
團隊把觸覺列為後續方向，也指出追蹤器目前只知道要跟上哪個姿勢，不知道這個姿勢想改變世界的哪個狀態。
因此，讓下層理解任務意圖，可能比再加一個動作名稱更有幫助。控制層若知道目的，才有機會在計畫與現實偏離時作出更合適的修正。
本機執行與開放程式碼，帶來什麼研究價值？
把推論放在機身上，讓研究者能檢查網路以外的延遲與控制問題。HALO 使用 Unitree G1，背包裝有一台六十四 GB 記憶體的 Mac mini M4 Pro。
較慢的任務編排與動作生成在背包電腦執行，機身內的 Jetson Orin NX 處理追蹤。這讓計畫與控制可以同時前進，不必等待同一個循環。
預設編排模型也在本機執行，因此不需要網路才能完成這條路徑。系統另外保留接雲端模型的選項，供研究更強的推理與規劃使用。
研究已公開資料生成、訓練與部署程式，官方程式庫也列出模擬及實機啟動路徑。但程式可讀，不代表所有訓練好的元件都已附上。
例如追蹤器權重需要依訓練流程取得，外部團隊仍要準備機身、感測器與對應環境。這會影響重現工作量，不能只看下載程式所需時間。
新增任務也仍需人撰寫提示與動作關鍵影格。合成資料可以放大已設計的任務，任務種類的增加速度仍受設計工作限制。
感測器位置也屬於重現條件。上層讀廣角彩色影像，下層讀較窄的向下深度畫面，換一個相機安裝位置，便可能改變障礙何時進入觀察範圍。
因此，背包電腦能否跑得動只是其中一項條件。實機要得到相同觀察與控制節奏，還得讓感測、資料傳遞與動作更新接成同一條可持續運轉的路徑。
這些材料最適合讓研究者逐層比較。先問一個新場景的失敗來自看錯、計畫接不上，還是追蹤問題，比只拿最終成功率互相比較更能找到改進處。
HALO 常見問題 FAQ
HALO 是 Apple 已上市的家用機器人嗎？
它是人形機器人自主控制研究，論文以 Unitree G1 驗證。目前這份工作提供研究方法與程式，沒有宣布家用商品的售價或交付。
全部合成訓練代表沒有任何人類知識嗎？
研究的新增動作資料由合成流程製作，但任務設計仍靠人，系統也使用已有的視覺語言模型與動作生成工具，不能把整體知識來源都算成零人工。
91% 和 70% 為什麼不能混在一起？
前者是六場景的單項動作平均，後者是一個場景中三組序列的平均。任務、場景數與成功條件不同，合併後會失去各自要測的能力。
它一定需要連接雲端嗎？
預設系統可在機身電腦上運作，也提供雲端模型路徑。是否連雲端是執行選擇，不能把展示中的本機能力套到所有可選設定。
結論
HALO 讓合成資料如何接上全身動作變得更具體。它用不同速度的模型處理任務、姿勢與控制，再以陌生環境測試檢查這條鏈是否成立。
接下來最值得追的是長任務能否恢復視野、辨識接觸並從中途狀態繼續。若外部團隊重做時也能保留這些能力，合成資料的價值才會從擴大訓練走向更完整的自主工作。
