browser-use/jev-ultrafast 超低延遲瀏覽器協議解析:AI 網頁代理如何把操作延遲壓到毫秒級?

browser-use/jev-ultrafast 針對網頁代理常見的截圖與 DOM 往復延遲進行極限優化,一篇拆解其超低延遲協議架構、安裝方式與實務限制。

Share
jev-ultrafast官方 GitHub 專案封面圖:jev-ultrafast 解析
jev-ultrafast官方開源專案視覺圖。 圖片來源:官方原文。

用過 AI 瀏覽器代理的開發者都有過這種焦慮:代理只是要在網頁上訂一張機票,卻每按一個按鈕都要等上好幾秒。

傳統網頁代理每一步都要截圖、把整張高解析度圖片傳給視覺模型、等模型猜出座標或選擇器,再送出好幾次瀏覽器協議指令。

browser-use/jev-ultrafast 是 Browser Use 團隊與 TypeSafe 聯手打造的極速實驗架構,專門用來消滅這段漫長的往復延遲。

在真實 Google Flights 機票搜尋測試中,這套架構只花 7.1 秒就完成從首頁到顯示航班的完整操作。

本篇 jev-ultrafast 解析將帶你拆解它如何透過動態索引動作空間、猜測式並行決策與無截圖迴圈,把網頁操作延遲壓到極限。

傳統 AI 網頁代理為什麼慢在往復延遲

多數網頁代理之所以反應遲鈍,根本原因並不在瀏覽器渲染速度慢,而是代理與模型之間的通訊結構太過笨重。

在常見的視覺網頁代理架構中,代理每執行一個微小的動作,都要經歷以下漫長循環:先對瀏覽器擷取螢幕畫面,接著連同龐大的 DOM 樹狀文字打包送進大型多模態模型,等待模型輸出長篇推理與動作指令,再透過多次瀏覽器除錯協議往返確認元素位置。

光是為了在搜尋框輸入一個城市名稱並按下確定,底層就可能產生數十次甚至上百次的協定呼叫與多次大型模型推論等待。

當表單欄位多達五、六個時,這種線性累加的延遲會讓使用者覺得代理像是在慢動作播放。

browser-use/jev-ultrafast 採取了截然不同的設計思路:把視覺辨識移出主迴圈,並把「決定做什麼」與「選哪個元素」壓縮進同一次網路請求中完成。

值得一提的是,這項技術實驗目前已經正式整合進主流的 browser-use 套件中,開發者現在只要使用 Agent 的 mode='ultrafast' 參數,或在雲端服務選擇 bu-ultrafast 模型即可體驗相同理念。

jev-ultrafast官方 GitHub 專案封面圖:jev-ultrafast 解析
jev-ultrafast官方開源專案視覺圖。 圖片來源:官方原文。

核心架構拆解:動態索引動作空間與猜測式並行

要看懂這套極速協議為什麼能跑出毫秒級反應,必須先了解它的兩個核心設計:動態索引元素表與猜測式目標預測。

動態索引元素表與八大有限動作

在每一次觀察網頁狀態時,系統不會把整個網頁 HTML 或圖片塞給模型,而是透過原子化的 snapshot.js 腳本擷取當前可見的控制項,整理成一張帶有編號的簡潔元素表。

例如畫面上的按鈕與輸入框會被標記為編號 1 的按鈕、編號 2 的出發地選單、編號 3 的目的地選單。

模型只能從八個有限且明確定義的動作中做選擇:CLICK、TYPE_TEXT、SELECT、SCROLL_UP、SCROLL_DOWN、WAIT、DONE 以及 BLOCKED。

模型永遠不會輸出任何 CSS 選擇器、螢幕像素座標、終端機指令或可執行的 JavaScript 程式碼,所有目標都必須從當下觀察到的合法元素編號中挑選。

一次網路往返搞定決策的猜測式並行

傳統做法會先問模型要執行什麼動作,如果模型回答要點擊,再把元素列表給模型挑目標,這就多了一次網路往返。

jev-ultrafast 與 TypeSafe 的 Jev 模型採用了「猜測式並行」架構:在同一次 TypeSafe API 請求中,系統同時詢問動作類型以及各種動作對應的候選目標,包含點擊目標、輸入目標與下拉選單目標。

這就像讓模型在同一個瞬間同時交出「我要做什麼」以及「如果是點擊我就點哪個、如果是打字我就打在哪個」的答案。

當回應回到本機後,執行器只要根據最終選定的動作類型,直接取出對應的那個目標編號送往瀏覽器執行即可,把兩個決策步驟壓縮成一次網路往返。

只有當動作確定是 TYPE_TEXT 需要輸入文字時,系統才會額外呼叫一個輕量級小型語言模型來生成具體的輸入字串,把昂貴的文字生成計算降到最低。

延伸閱讀:Google TPU Sync 開源:AI 等第一個字,為何先要搬好 KV 快取?

七大極限優化細節與實測數據表現

除了決策架構上的突破,這套協議在瀏覽器底層互動上也做了七項針對性的工程優化,每一項都在消除無謂的等待時間。

第一,預設代理迴圈完全不使用螢幕截圖,只讀取結構化的可見控制項狀態,只有在網頁檢查器需要顯示畫面或另外錄影時才單獨擷取影像。

第二,每次畫面快照只發送一次原子化瀏覽器呼叫,一次讀齊所有可見控制項的名稱、數值與文字,並保留實際 DOM 節點的參照。

第三,點擊前即時驗證目標幾何位置與遮擋狀態,確保目標沒有被彈出視窗或懸浮橫幅擋住,但不會因為單純的網頁小動畫就強迫模型重算。

第四,針對等待時間設定嚴格上限:在下拉組合框打字後最多只等 200 毫秒讓建議清單出現,其餘一般互動最多只等兩個動畫影格或 50 毫秒。

第五,透過焦點模擬技術讓背景分頁維持全速渲染,避免瀏覽器對非當前分頁降頻節流,同時又不搶走使用者螢幕上的前景分頁焦點。

第六,只傳送可視範圍內的文字內容,徹底過濾掉螢幕外的長篇文章內文與頁尾資訊,大幅縮減模型上下文長度。

第七,當頁面突然變動導致需要重試時,只要文字輔助模型的輸入參數完全沒變,就會直接重複使用上一次已經生成的文字結果,省下重複推論的時間。

根據官方釋出的實測數據,在六次交替對比的測試中,兩套版本都達成百分之百的任務成功率,但中位數任務完成時間從 9.450 秒縮短至 7.092 秒,整體速度提升 25%。

更驚人的是底層瀏覽器協議的呼叫次數,中位數從原本的 1,092 次驟降到只剩 101 次,徹底消除了冗餘的通訊開銷;在維基百科條目搜尋與本機飯店篩選測試中,也分別跑出 2.798 秒與 1.896 秒的成績。

安裝設定與本機實戰執行步驟

如果你想親自拆解或測試原始實驗專案,可以直接從 GitHub 複製儲存庫並使用 uv 工具啟動本地檢查器。

步驟一:複製專案並同步環境套件

專案本身程式碼非常精簡,核心迴圈與瀏覽器控制分散在 agent.py、snapshot.js、browser.py 與 model.py 等少數幾個檔案中。

git clone https://github.com/browser-use/jev-ultrafast.git
cd jev-ultrafast
uv sync
cp .env.example .env

步驟二:設定雙模型金鑰並檢查瀏覽器連線

在 .env 設定檔中,必須填入 TYPESAFE_API_KEY 用於執行動作與目標決策,以及 TEXT_MODEL_API_KEY 用於生成打字文字內容。

文字模型範例預設透過 OpenRouter 呼叫關閉推理模式的 inception/mercury-2.5,開發者也可以換成 Gemini、GLM 或 DeepSeek 等相容 OpenAI 介面的文字輔助端點。

接著透過內建的 Browser Harness 檢查 Chrome 瀏覽器連線狀態,並依提示允許遠端除錯連線。

uv run browser-harness --doctor

步驟三:啟動本地檢查器或執行 Python 範例

執行啟動指令後,打開瀏覽器連上本地端 http://127.0.0.1:8766 即可看到即時檢查介面,能清楚觀察每個步驟的動作機率分佈與實際執行動作。

# 啟動本地視覺化檢查器
uv run jev

# 或直接執行命令列任務範例
uv run --env-file .env python examples/run.py \
  --url https://en.wikipedia.org/wiki/Main_Page \
  --goal 'Find and open the Wikipedia article about Gödel’s incompleteness theorems.'

如果你想把這個能力寫進自己的 Python 腳本中,只需要匯入 Agent 類別並傳入起始網址與自然語言目標即可,若想在主流框架使用則可直接安裝 browser-use 並開啟 mode='ultrafast'。

from jev_ultrafast import Agent

with Agent(
    "https://www.google.com/travel/flights?hl=en",
    "Find one-way flights from Zurich to London on September 20, 2026, "
    "for one adult in economy. Stop when matching flight options are visible.",
) as agent:
    for state in agent.run():
        print(state["elapsed_ms"], state["status"])

網頁代理控制架構比較表

在選擇瀏覽器自動化控制方案時,延遲表現與元件支援度往往需要取捨,下表整理三種常見方案的架構差異。

比較維度 jev-ultrafast 協議 傳統截圖多模態代理 純 Playwright 寫死腳本
每步觀察資料型態 原子化結構化可見控制項表 全頁高解析度截圖與 DOM 開發者預先寫死的選擇器
決策與目標往返次數 單次請求並行預測動作與目標 多次模型推理與座標確認 無模型推論,零語意適應力
協議通訊開銷 極低,實測中位數僅約百次呼叫 極高,動輒上千次協議往返 低,但版面一改即刻失效
安全性與防注入設計 禁止輸出選擇器與可執行 JS 若開放執行 JS 則存在風險 完全依賴靜態程式碼邏輯
複雜元件支援範圍 涵蓋標準 HTML 與 ARIA 控制項 支援視覺繪製介面如 Canvas 支援完整瀏覽器 API

實務限制與安全邊界拆解

在把這套超低延遲架構應用於實際專案前,必須先看清楚官方文件明確列出的技術邊界與安全提醒。

首先在資安設計上,這套協議對模型輸出採取了嚴格的白名單限制:模型永遠只能回傳有限的動作列舉值與觀察到的元素編號,絕對不會讓模型輸出變成任意 CSS 選擇器、系統指令或注入網頁的 JavaScript 腳本,大幅降低了代理誤觸惡意程式的風險。

此外,在文字生成階段,文字輔助模型的輸出必須先通過嚴格的小型 JSON 物件格式解析,確認結構合法後才會真正送入網頁欄位打字,避免模型在輸入框中夾帶意外的控制字元或長篇廢話。

然而在執行範圍與元件相容性上,目前的早期實驗架構仍有明確限制。

第一,它的 DOM 讀取器主要處理常見的標準 HTML 與 ARIA 無障礙控制項,並不支援 Shadow DOM 內部元素、跨網域 iframe 框架、HTML5 Canvas 畫布操作、檔案上傳對話框、彈出式新分頁、巢狀捲動容器以及自訂鍵盤小工具。

第二,雖然代理在判斷任務完成時會回報 DONE 狀態,但工程團隊依然必須建立獨立的結果驗證邏輯,不可完全信任模型自己宣告任務成功。

例如在官方的機票搜尋範例中,測試腳本在收到結束訊號後,仍會額外檢查網頁上是否真的出現符合起訖城市、單程設定與出發日期的航班列表。

第三,系統在連線本機 Chrome 時會共用現有的瀏覽器設定檔,意味著代理操作時可能接觸到你已經登入的帳號工作階段,測試敏感網站或高風險交易流程時,務必使用獨立隔離的測試用設定檔或雲端沙盒環境。

第四,團隊在進行離線回歸測試與除錯時,可以善用專案內建的驗證工具鏈,例如使用 ruff、pytest 與 scripts/check_guards.py 在不消耗付費模型額度的情況下,驗證本機瀏覽器的防護檢查邏輯是否正常運作。

總結來說,這套協議示範了一個非常務實的工程方向:並不是所有網頁自動化問題都需要靠更龐大的多模態模型硬解,只要把前端 DOM 資訊精準濃縮並減少不必要的網路往返,小型專用模型也能跑出令人驚豔的即時操作體驗。

延伸閱讀:Code Mode 是什麼?Claude Code 實驗功能的啟用步驟與限制

常見問題

1. 這篇 jev-ultrafast 解析提到的技術現在還能直接使用嗎

可以。除了可以從 browser-use/jev-ultrafast 儲存庫直接執行原始實驗與檢查器之外,這套設計理念也已經正式整併進 browser-use 主套件中,只要安裝 browser-use 並設定 mode='ultrafast' 就能在日常專案中使用。

2. 為什麼完全不用螢幕截圖還能準確操作網頁

因為多數標準網頁的表單、按鈕與下拉選單都具備清楚的 HTML 語意標籤與 ARIA 屬性,透過原子化腳本抽取可視控制項的標籤文字與數值,模型就能掌握足夠的語意資訊來做決策,同時避開傳送高解析度圖片帶來的網路與推論延遲。

3. 如果網頁裡有大量 Canvas 圖表或複雜 iframe 適合用嗎

不適合。官方文件已明確指出目前的 DOM 讀取器專注於標準 HTML 與 ARIA 元件,對於 Shadow DOM、iframe 框架、Canvas 畫布與檔案上傳等情境尚未涵蓋,這類任務仍需搭配視覺截圖代理或傳統 Playwright 腳本來處理。

4. 需要申請哪些 API 金鑰才能跑起來

本地端執行原始專案需要兩組金鑰:一組是 TypeSafe API 金鑰用來進行動作與目標的並行決策,另一組則是文字模型 API 金鑰,在需要執行打字輸入動作時用來生成具體欄位內容。

結語

對於追求極致反應速度、且操作對象以標準網頁表單查詢與資訊檢索為主的開發者而言,browser-use/jev-ultrafast 提供了一條把網頁代理從「十秒起跳」壓縮到「數秒完成」的清晰路徑,非常適合整合進即時性要求高的自動化查詢工具。

如果你的自動化流程高度依賴讀取 Canvas 畫面、處理複雜的跨網域 iframe 內嵌表單或檔案上傳下載,那麼這套無截圖的精簡協議就不適合單獨上場,建議改用具備完整視覺辨識能力的瀏覽器代理或傳統靜態腳本。

把架構設計對了,延遲自然能砍掉一大半。如果你想持續關注最新 AI 代理底層協議拆解與實測數據分析,歡迎免費訂閱 AI 郵報,每週接收最紮實的工程實戰精華。

資料來源