MotionGraphicsBench 測 AI 做動畫：看起來會動，為什麼仍可能沒完成指令？
Figma 研究團隊在 2026 年 11 月 10 日介紹 MotionGraphicsBench，將一百個動態圖像任務轉成可逐項核對的評測。論文首版日期為 11 月 7 日，本篇依七日內研究範圍整理。 本文說明官方資料、具體用途與能力限制，協助判斷採用條件。
AI 做出的圖示會轉、會跳，卻可能在最後一秒停錯位置。對製作教學或產品動畫的人來說，畫面好看只是其中一項要求，動作順序、時間與結束狀態也必須符合指令。
Figma 研究團隊在 2026 年 11 月 10 日介紹 MotionGraphicsBench，將一百個動態圖像任務轉成可逐項核對的評測。相關論文首版於 11 月 7 日公開，研究聚焦模型能否確實完成動作要求。
評測先給模型完整的靜態 SVG 向量圖，再要求它用 JavaScript 動畫程式完成指定動作。它測的是讓既有圖形動起來，並不要求模型從頭設計整張圖。
研究把成果渲染成影格，用固定的 Python 程式檢查幾何位置、時間順序和顯示狀態。只要一項必要條件失敗，即使其他動作看起來合理，整題也不算完成。
我會把這種做法用來思考動畫驗收：先說清楚什麼時候、哪個物件、應該在哪裡，再判斷畫面。這比單靠一眼覺得順暢，更容易找到需要修正的地方。
要看懂官方分數，可以先分清任務輸入與驗收方式，再看單次成功、多次嘗試和驗證器可靠度分別代表什麼。
先給完整 SVG，再測動作指令有沒有做完
MotionGraphicsBench 把視覺設計與動畫執行拆開，讓比較集中在動作要求。
SVG 是以形狀與路徑描述圖像的向量格式，適合圖示、標誌和介面插畫。評測輸入的 SVG 已包含需要用到的元素，甚至把原動畫中某些時間才會出現的隱藏幾何補齊，避免模型因缺素材而失敗。
模型接著根據文字指令撰寫 JavaScript，透過 GSAP 動畫函式庫控制元素的位置、旋轉、縮放與顯示。這些程式安排物件在時間中的變化，再由渲染工具產生可觀察影格。比較因此集中在動作是否符合要求，而非程式必須長得一模一樣。
資料從 LottieAnimation-660K 的專業動畫集合出發，經過挑選、整理和人工檢查，形成一百個不同任務。輸入先備妥靜態向量圖，讓模型專注完成指定動作，與從空白設計或觀看任意影片再重製的任務不同。
這個差異會影響選型。若你的需求是公司現有圖示做出正確互動，例如狀態燈亮起、指針移動或按鈕循環，評測內容較接近工作本身。若要生成真人、三維場景、電影運鏡或背景音樂，這套分數就沒有涵蓋那些能力。
研究也刻意固定輸出技術，讓各模型走同一類程式動畫路線。它提供一個比較清楚的實驗條件，但不代表模型改用其他動畫工具、外掛或人工協作時，仍會得到同樣結果。
這樣的控制有利於比較程式動畫能力，但不能直接代表從零創作整支影片的能力。
每個條件都要過，才能避免會動就算完成
評測的關鍵是把自然語言要求轉成可執行的時空檢查。
一個剪刀任務可以同時要求刀片閉合、重新張開，最後回到起點。模型也許把所有階段都做出來，卻沒有真正接近要求的閉合角度。一般觀看時可能覺得動作大致正確，逐項驗證則會將缺少的條件明確標成失敗。
MotionGraphicsBench 將要求分成十七種類型，包含空間結構、時間順序，以及外觀和可見性。每題涉及其中七至十四種類型，所有題目都有空間與時間要求，部分再加入顯示或外觀條件。這使一題不是單純檢查某物件有沒有移動。
驗證程式讀取渲染後的影格，檢查物件關係和變化。例如兩個元素應該何時靠近、哪個階段可以消失、最後是否回到原位。只要一項必要條件不通過，或程式無法正常渲染，整題就不算完成。
這種計分較嚴格，但對交付有實際意義。產品教學若在錯誤時間顯示成功狀態，觀眾可能理解錯流程。圖示即使流暢，也未完成指定訊息。完成率因此回答是否滿足要求，美感則仍可以另外評估。
實務上可以借用相同分解方式，把提示寫成物件、動作、時間與結束狀態。例如不要只說指針平順轉動，而是先定義它從哪裡開始、何時進入區間、離開時指示燈應否熄滅。這是作者提出的驗收建議，並非產品內建模板。
必要條件的定義也應有可接受範圍。像回到原位，可能允許極小的渲染誤差。像成功狀態必須消失，則不能只因顏色變淡就算完成。這些是建立驗收規則時要討論的例子，不能由不同驗收者各自臨時決定。
同一作品若要在手機或網頁重複播放，也可以分開檢查尺寸改變後的視覺效果。研究分數本身沒有保證你的響應式版面，但逐項檢查方法能延伸到文字有沒有被裁切、元素是否遮擋等交付要求。
對修改溝通而言，指出第四秒的指示燈未熄滅，比只說整體感覺不對更具體。作者能修改相應物件與時間段，驗收者也能用同一條件回看，而不必每輪重新解釋全部作品。
當條件互相矛盾，例如既要物件持續可見，又要求它在特定區間完全消失，應先回到需求修正。評測式拆解不只抓模型錯誤，也能讓交辦內容本身更清楚。
畫面是否好看仍可另外討論，指令是否完成則先留下能重現的依據。
單次 67.7% 與多次嘗試，描述不同的使用成本
同一模型在一次生成和多次獨立生成下，能完成的題目數不同。
研究比較十二個供應商、三十二個模型，共四十七種模型設定。不同思考強度也會影響結果，因此設定數多於模型數。若每個模型只取最高思考強度，只有四個模型的單次完成率超過一半。
官方資料中的最高單次成績，是 GPT-6 Astra 在最大思考設定下達到百分之六十七點七。這表示在指定的一百題程式動畫要求中，仍有相當比例無法一次全部完成。不能把它改寫成所有動畫作品的品質評分，或所有影片模型的總排名。
多次嘗試測試選了十五種設定，每題獨立生成三十二次，沒有把前一次的驗證結果提供給下一次修正。這點很重要：研究觀察的是增加候選數量能覆蓋多少題，而不是模型收到錯誤訊息後逐步學會改好。
這十五種設定的平均單次完成率為百分之三十六點七，三十二次中至少一次成功的比例則為百分之七十三點七。後者不等於每次生成都有七成成功率，也不表示只要重試就一定完成。
若把這種方式放到製作流程，還需要挑出成功候選。當沒有可靠驗證器時，三十二支候選可能帶來大量人工檢查。比較工具不能只看最佳作品，也應記錄產生候選的費用、等待，以及辨認失敗所花的時間。
官方另外觀察到許多失敗作品其實已通過部分檢查，部分只差一項要求。這說明改進空間可能集中在細節遵循，但不能因為只差一點，就把未完成的作品算進成功率。
若工作需要多次候選，費用、挑選與人工驗收也應計入整段製作成本。
驗證器也要接受人工校驗，93.3% 不是動畫成功率
程式檢查能減少每次評測依賴視覺裁判，但檢查程式本身也可能寫錯。
研究的驗證器不是每次都請一個語言模型看影片打分，而是在建置期間反覆產生和修正檢查程式，最後凍結。正式執行時，固定的 Python 程式直接在 CPU 上檢查影格，降低每次評分的主觀變動與模型費用。
建置時仍使用模型協助撰寫檢查和合成測例，並結合一千五百八十五份人工標記。另一個模型角色負責尋找可能揭露檢查漏洞的案例，讓程式在凍結前反覆修正。這是驗證工具的開發過程，不是測試中的動畫模型取得了同樣回饋。
為了評估檢查器本身，團隊另用一百八十份保留作品，分別包含九十份人工接受與九十份人工拒絕的成果，涵蓋一百個任務。固定程式與人類判斷的一致率為百分之九十三點三，對照的視覺語言模型裁判為百分之八十三點三。
百分之九十三點三描述的是評分工具與人工標記的相符程度，不是任何動畫生成模型的成功率。十二份不一致案例中，有九份屬於程式誤拒絕，三份是誤接受，顯示它仍可能漏掉或錯判要求。
這也是為什麼可執行檢查不等於絕對客觀。若檢查把條件寫得過窄，合理動畫可能被拒絕。寫得太寬，錯誤動作又可能通過。對重要交付，仍應保留人工檢視，並把爭議轉成修改驗證條件的依據。
因此讀取評測時要同時看模型分數與驗證器可靠度，不能把兩者混成一個能力數字。
MotionGraphicsBench 常見問題
這份研究的適用範圍，和一般文字生成影片榜單不相同。
它能測 AI 從零設計一支廣告影片嗎？
不能完整涵蓋。輸入已有靜態向量圖，任務集中在依文字要求產生動作。分鏡、品牌設計、角色一致性、音樂和長篇敘事，都不是這個評測直接驗收的全部範圍。
三十二次嘗試，是讓模型自動修正三十二次嗎？
不是。主要多次嘗試設定使用獨立樣本，不把驗證結果逐次送回模型。若開發者另外建立能看錯誤報告的修正流程，屬於新的系統條件，需要重新量測，不能直接沿用這組數字。
檢查全部通過，就代表作品好看嗎？
不代表。這些檢查主要評估要求是否完成，不能涵蓋所有節奏感、風格、品牌一致性和觀看感受。合理做法是先確認必要條件，再另外進行視覺與溝通效果評估。
團隊一定要寫 Python 才能借用這個方法嗎？
不必。即使先用影格表和人工檢查，也可以把必要動作逐項列清楚。當任務大量重複，或某種錯誤一直出現，再考慮把能量測的條件寫成程式，比一開始建立龐大工具更切實際。
先確認作品型態與驗收需求，才能判斷評測是否有助於工具選擇。
把動畫指令寫成可核對的交付要求
日常製作不一定需要建立整套評測，但可以借用它分解動作要求的方法。
一份可用的動畫交付要求，可以先寫清楚開始狀態，再列出必要轉折，最後描述結束後應該留下什麼。每項要求都能對應一段畫面或一個時間點，作者和驗收者才不會只用感覺討論修改。
例如循環動畫不只看中間動作是否順暢，還要比較最後與開頭的位置、旋轉和顯示狀態。若循環接縫會跳，即使單次播放看起來自然，重複播放時仍會暴露問題。這是從評測方法延伸的製作建議。
MotionGraphicsBench 的啟發，在於讓看似主觀的動作遵循，至少有一部分能被拆開檢查。這不會消除設計判斷，卻能讓必須完成的內容更容易被確認與修正。
讓每個必要動作都有可見的證據，會比只要求影片更流暢，更容易完成修改。
延伸閱讀：motion2code：把動態影片拆成可改的 SVG 程式，逐格比對如何做？
延伸閱讀：ManimGX 動畫教學：AI 寫 Python 生成 3D 影片，九十倍速度要怎麼看
