JARVIS Desk Bot 開源:ESP32 接上 Hermes,語音助理開始回報工作進度
JARVIS Desk Bot 將 ESP32 桌面機器人接上 Hermes,加入本機語音辨識、語音回報與背景工作。本文分清裝置和伺服器的工作,並說明本機語音與完全離線的差別。
語音助理最讓人不確定的時刻,往往是說完要求後一直沒有反應。
JARVIS Desk Bot 想讓助理在工作時也能回報進度。
開發者在 10 月 9 日前後公開程式與示範,把 ESP32 桌面機器人連到 Hermes 代理。
專案加入提示音、背景工作回報與執行某些命令前的口頭確認。
它採 MIT 授權,提供可查看的實作與部署說明,讓有興趣的人理解裝置與服務如何接在一起。
理解這個專案,首先要分清桌面裝置和後端伺服器各做什麼。

ESP32 是語音終端,主要處理仍在伺服器
ESP32 是常用於連網裝置的小型晶片,能協助取得聲音與控制桌面裝置。
JARVIS 的架構把桌面機器人接到 xiaozhi-server,再由這個服務和 Hermes 代理溝通。
Parakeet 負責語音辨識,把聲音變成文字。Kokoro 負責語音合成,把回應變成聲音。
README 說明這些語音處理可以在本機伺服器運行,不能理解成整套模型都直接塞進 ESP32。
Hermes 則負責依任務選擇工具與處理工作。要使用哪些模型與外部服務,仍取決於自己的設定。
所以,購買一個小裝置與建立完整本機語音代理,是不同規模的工作。
邊做邊說,讓使用者知道任務還在進行
專案示範在搜尋或執行較長工作時,加入進度語音與畫面提示。
這可以讓使用者分辨助理正在處理,還是沒有收到要求。
但進度回報也必須對應實際狀態。說「正在搜尋」之後,需要真的執行搜尋,而不能只留下承諾。
README 的故障排除提到工具呼叫與回報的限制,顯示開發者也把這個問題納入實作。
若任務失敗,回報應說明未完成與留下的部分結果,避免讓人以為所有工作已經結束。
對語音介面而言,這比單純把文字答案念出來更接近完整的互動流程。
背景助手,適合把長工作留在後面
JARVIS 提供把長任務交給背景助手,再於完成後通知的方式。
這讓主對話可以先回應使用者,不必為了某個較長的工具工作一直保持沉默。
但背景任務需要自己的時間與步數限制,也要能查看狀態與取消。
專案文件列出相關設定與工作紀錄,使用者可以依環境調整,而不是把「背景執行」當成無限工作。
需要外部服務的功能,例如 Google Tasks,還會涉及連線與帳號授權。
因此,語音處理在本機,不代表所有任務資料都只留在本機或完全不需要網路。
口頭確認,也需要清楚的權限規則
專案示範執行某些風險命令前先詢問使用者,這是把授權放回互動流程的方向。
實際使用時,需要明確說明命令會改動什麼,而不是只問一句「要繼續嗎」。
語音辨識也可能聽錯,因此高影響操作可以保留更明確的確認方式與可追查紀錄。
另外,持續開啟的對話可能聽到附近的人或會議聲音。文件提醒可用結束語關閉對話,部署時也應安排可見的收音狀態。
初次試用可以從查資料或建立測試提醒開始,確認收音、回報與停止方式,再增加操作權限。
這讓裝置的方便建立在可理解的流程上,而不是只靠擬人化聲音帶來信任。
常見問題
它是完全在 ESP32 裡執行的 AI 嗎?
不是。ESP32 是終端,語音與代理主要由連接的伺服器及模型服務處理。
本機語音表示全部離線嗎?
不表示。模型與工具可能仍使用外部服務,應依實際設定確認資料與網路行為。
可以直接照影片把全部權限交給它嗎?
先確認部署、工具與權限規則,再用低影響任務驗證進度、完成與取消功能。
結語
JARVIS Desk Bot 的進展,是讓語音代理的工作狀態更可感知。把終端、伺服器與外部工具分清楚,再確認背景工作與授權,才能把桌面裝置變成可靠的工作入口。
延伸閱讀:Hermes Desktop 一鍵跑本地模型:自動偵測硬體、免終端指令,但 8B Agent 真的夠用嗎?
延伸閱讀:Hermes 推出「Bot Mode」,可以分出不同職能的 Agent Bot 一起工作,還能操作電腦!