JARVIS Desk Bot 開源:ESP32 接上 Hermes,語音助理開始回報工作進度

JARVIS Desk Bot 將 ESP32 桌面機器人接上 Hermes,加入本機語音辨識、語音回報與背景工作。本文分清裝置和伺服器的工作,並說明本機語音與完全離線的差別。

Share
dreamhunter02 發布的示範影片預覽畫面
dreamhunter02 發布的示範影片預覽畫面 圖片來源:dreamhunter02。

語音助理最讓人不確定的時刻,往往是說完要求後一直沒有反應。

JARVIS Desk Bot 想讓助理在工作時也能回報進度。

開發者在 10 月 9 日前後公開程式與示範,把 ESP32 桌面機器人連到 Hermes 代理。

專案加入提示音、背景工作回報與執行某些命令前的口頭確認。

它採 MIT 授權,提供可查看的實作與部署說明,讓有興趣的人理解裝置與服務如何接在一起。

理解這個專案,首先要分清桌面裝置和後端伺服器各做什麼。

dreamhunter02 發布的示範影片預覽畫面
dreamhunter02 發布的示範影片預覽畫面 圖片來源:dreamhunter02。

ESP32 是語音終端,主要處理仍在伺服器

ESP32 是常用於連網裝置的小型晶片,能協助取得聲音與控制桌面裝置。

JARVIS 的架構把桌面機器人接到 xiaozhi-server,再由這個服務和 Hermes 代理溝通。

Parakeet 負責語音辨識,把聲音變成文字。Kokoro 負責語音合成,把回應變成聲音。

README 說明這些語音處理可以在本機伺服器運行,不能理解成整套模型都直接塞進 ESP32。

Hermes 則負責依任務選擇工具與處理工作。要使用哪些模型與外部服務,仍取決於自己的設定。

所以,購買一個小裝置與建立完整本機語音代理,是不同規模的工作。

0:00
/0:00
dreamhunter02 原始示範影片,展示範圍以原文說明為準。 影片來源:dreamhunter02。

邊做邊說,讓使用者知道任務還在進行

專案示範在搜尋或執行較長工作時,加入進度語音與畫面提示。

這可以讓使用者分辨助理正在處理,還是沒有收到要求。

但進度回報也必須對應實際狀態。說「正在搜尋」之後,需要真的執行搜尋,而不能只留下承諾。

README 的故障排除提到工具呼叫與回報的限制,顯示開發者也把這個問題納入實作。

若任務失敗,回報應說明未完成與留下的部分結果,避免讓人以為所有工作已經結束。

對語音介面而言,這比單純把文字答案念出來更接近完整的互動流程。

背景助手,適合把長工作留在後面

JARVIS 提供把長任務交給背景助手,再於完成後通知的方式。

這讓主對話可以先回應使用者,不必為了某個較長的工具工作一直保持沉默。

但背景任務需要自己的時間與步數限制,也要能查看狀態與取消。

專案文件列出相關設定與工作紀錄,使用者可以依環境調整,而不是把「背景執行」當成無限工作。

需要外部服務的功能,例如 Google Tasks,還會涉及連線與帳號授權。

因此,語音處理在本機,不代表所有任務資料都只留在本機或完全不需要網路。

口頭確認,也需要清楚的權限規則

專案示範執行某些風險命令前先詢問使用者,這是把授權放回互動流程的方向。

實際使用時,需要明確說明命令會改動什麼,而不是只問一句「要繼續嗎」。

語音辨識也可能聽錯,因此高影響操作可以保留更明確的確認方式與可追查紀錄。

另外,持續開啟的對話可能聽到附近的人或會議聲音。文件提醒可用結束語關閉對話,部署時也應安排可見的收音狀態。

初次試用可以從查資料或建立測試提醒開始,確認收音、回報與停止方式,再增加操作權限。

這讓裝置的方便建立在可理解的流程上,而不是只靠擬人化聲音帶來信任。

常見問題

它是完全在 ESP32 裡執行的 AI 嗎?

不是。ESP32 是終端,語音與代理主要由連接的伺服器及模型服務處理。

本機語音表示全部離線嗎?

不表示。模型與工具可能仍使用外部服務,應依實際設定確認資料與網路行為。

可以直接照影片把全部權限交給它嗎?

先確認部署、工具與權限規則,再用低影響任務驗證進度、完成與取消功能。

結語

JARVIS Desk Bot 的進展,是讓語音代理的工作狀態更可感知。把終端、伺服器與外部工具分清楚,再確認背景工作與授權,才能把桌面裝置變成可靠的工作入口。

延伸閱讀:Hermes Desktop 一鍵跑本地模型:自動偵測硬體、免終端指令,但 8B Agent 真的夠用嗎?

延伸閱讀:Hermes 推出「Bot Mode」,可以分出不同職能的 Agent Bot 一起工作,還能操作電腦!

資料來源