Jan AI 教學:免費開源離線版 ChatGPT 桌面工具怎麼用?GGUF 本地模型安裝與硬體門檻懶人包

這篇 Jan AI 教學完整拆解免費開源離線版 ChatGPT 桌面工具的安裝與實戰步驟。教你如何在完全拔掉網路線的 Windows 筆電或 Mac 上執行本地大模型,一鍵從 Hugging Face 下載 GGUF 量化模型,並對照 8GB 到 32GB 記憶體挑選最適合的模型尺寸。

Share
Jan AI 開源離線本地大型語言模型桌面應用程式官方主視覺
Jan AI 提供百分之百本機離線運作的對話介面與模型管理中心,所有對話紀錄與檔案皆儲存在個人電腦本機資料夾。 圖片來源:Jan AI 官方網站。

當公司法務、會計師事務所或醫院嚴格禁止把客戶合約、病歷與未公開財報貼上雲端時,多數人只能乖乖回到手工加班審文件的老路。這篇 Jan AI 教學就是要帶你打破這個僵局,在自己的電腦上打造一套完全不連網也能運作的私人對話助手。

很多上班族以為要在個人筆電跑大型語言模型,一定得懂深奧的 Linux 指令或是買一台十幾萬元的頂級工作站。其實現在的開源桌面工具早就把底層推論引擎封裝成一鍵安裝包,連從來沒碰過程式碼的行政與法務人員都能在五分鐘內跑起來。

透過 Jan AI 官方網站 提供的跨平台開源軟體,你可以直接把壓縮過的開源模型下載到自己的硬碟裡。

一旦模型下載完成,就算你立刻拔掉網路線或關閉 Wi-Fi,依然能在熟悉的聊天視窗裡請它摘要百頁 PDF 合約、改寫機密信件或翻譯內部會議紀錄。

這項離線能力在當前企業資安稽核越來越嚴格的環境下特別重要。因為再好用的雲端訂閱服務,只要資料得離開公司內網經過第三方伺服器,就永遠存在合規風險與營業秘密外洩的疑慮。

在我實測過市面上主流的幾款本地推論軟體後,我認為這款工具最適合注重百分之百開源透明、想要有像 ChatGPT 一樣好看的圖形介面、且需要把所有對話紀錄以純文字檔案保存在本機資料夾的工作者。

如果你追求的是高併發伺服器部署,那才需要轉向更底層的命令列方案。

那麼一般配備 8GB、16GB 或 32GB 記憶體的文書筆電與 Mac,到底該怎麼挑選不會卡死的模型尺寸,又該如何在不寫半行程式的前提下完成第一次離線問答?

延伸閱讀:新手在 Windows 或 Mac 跑本地 AI 選 Ollama 還是 LM Studio 完整對比

Jan AI 開源離線本地大型語言模型桌面應用程式官方主視覺
Jan AI 提供百分之百本機離線運作的對話介面與模型管理中心,所有對話紀錄與檔案皆儲存在個人電腦本機資料夾。 圖片來源:Jan AI 官方網站。

為什麼企業法務、醫療與財務人員都在找離線版 ChatGPT?

這兩年台灣各大企業與公家機關陸續發布了生成式 AI 使用規範,最核心的一條禁令就是「不得將含有個資、客戶名單或未公開財務數字的文字輸入外部網站」。

這也讓許多明明知道新技術能省下三小時工時的專業人士,在面對日常核心業務時卻綁手綁腳。

雲端 AI 隱私條款的盲點與企業合規紅線

雖然各大雲端廠商都宣稱付費企業版不會拿客戶資料去訓練底層模型,但對銀行、醫院、專利事務所與科技業研發部門來說,資料只要傳送到外部機房就是踩到了內控紅線。

因為一旦外部帳號遭竊或雲端供應商發生快取外洩,負責上傳文件的員工還是得承擔洩密責任。

更何況許多中小型團隊根本沒有預算幫每位員工採購昂貴的企業級雲端席位。如果員工為了趕下班而偷偷用免費個人帳號上傳公司報價單,這種「影子 AI」現象反而成為公司資安主管最頭痛的漏洞。

拔掉網路線也能跑!百分之百本機儲存的透明架構

為了徹底消除資料外流的可能,Jan AI 從設計之初就採用了「本地優先」的架構。它不但不會要求你註冊任何雲端帳號或登入信箱,連你跟模型的每一句對話、上傳的每一份參考文件,都是直接存成你電腦硬碟裡看得到的 JSON 與 Markdown 純文字檔。

這代表你可以隨時打開電腦的檔案總管或 Finder,直接把整個對話資料夾複製到加密隨身碟裡帶走,或是整包刪除不留一絲痕跡。

當你在高鐵上沒有網路、或是身處完全隔離外網的機密會議室時,Jan AI 依然能照常幫你整理逐字稿與檢查法條漏洞。

內建 Cortex 與 llama.cpp 推論引擎如何榨乾你的顯示卡與記憶體?

能讓原本需要昂貴伺服器才能運作的模型塞進一般家用電腦,靠的是 Jan AI 底層內建的 Cortex 與 llama.cpp 高效推論引擎。

這套引擎會自動偵測你電腦裡的硬體配備,無論你是用輝達獨立顯示卡、AMD 處理器,還是蘋果 M 系列晶片的統一記憶體,它都能自動開啟硬體加速。

而且它支援把龐大的模型權重,也就是模型訓練完成後需要下載到電腦部署的核心參數,透過量化技術壓縮成單一的 GGUF 格式檔案。

這就像把無損音樂轉成高音質 MP3 一樣,檔案體積瞬間縮小為原本的三分之一,一般筆電的記憶體也能輕鬆載入,卻依然保留了九成以上的文字理解與推理實力。

8GB / 16GB / 32GB 記憶體能跑什麼模型?硬體門檻與 GGUF 挑選表

很多新手安裝完 Jan AI 後的第一個挫折,就是隨手點了一個名字看起來很厲害的 70B 超大模型,結果下載了半小時後一按執行,整台電腦瞬間卡死當機。

因為本地推論最核心的物理限制就是記憶體容量,模型檔案一旦超過你的可用記憶體,運算速度就會跌落到每秒擠不出一個字。

看懂參數量(3B / 7B / 14B / 32B)與量化等級(Q4_K_M / Q8)的白話文

在 Jan AI 的模型下載列表裡,你常會看到後面標註著 3B、7B、8B 或 14B,那個英文字母 B 代表的是「十億個參數」。參數量越大,模型的常識越豐富、邏輯越嚴密,但它吃掉的顯示卡記憶體或系統記憶體也就呈倍數增加。

至於檔名尾端常見的 Q4_K_M 或 Q8_0,則是代表壓縮精度的量化標籤。

對百分之九十的日常辦公與中文寫作任務來說,挑選標有 Q4_K_M 的 4 位元中等量化版本是公認的最佳甜蜜點,因為它的智商折損極小,卻能幫你省下一半以上的記憶體空間。

台灣常見文書筆電、電競桌機與 Mac 統一記憶體的實測對照

如果你手邊是一台只有 8GB 記憶體的輕薄文書筆電,在 Jan AI 裡面千萬不要越級挑戰 8B 以上的模型。

建議直接鎖定 Qwen 2.5 3B 或 Llama 3.2 3B 這類小巧精悍的模型,它們占用的空間不到 3GB,不僅回答速度飛快,處理信件潤稿與段落摘要也綽綽有餘。

如果你使用的是配備 16GB 記憶體的主流商務筆電、M1 到 M3 世代的 MacBook Air,或是裝有 8GB 到 12GB 獨立顯卡的桌機,那就正式進入了本地模型的黃金實用區。

這個層級可以流暢執行 7B 到 9B 規模的模型,例如 Qwen 2.5 7B 或 Gemma 2 9B,在繁體中文理解與表格整理上已經非常接近早期的付費雲端水準。

以下我把不同電腦記憶體規格在 Jan AI 對應的推薦 GGUF 模型尺寸與預估離線生成速度整理成表格:

電腦硬體與記憶體規格 建議下載模型參數量與量化等級 推薦繁體中文與辦公首選模型 檔案大小與預估生成速度
8GB RAM 入門文書筆電(無獨顯) 1.5B – 3B(Q4_K_M 量化) Qwen 2.5 3B Instruct / Llama 3.2 3B 約 2.0 GB|每秒約 15–25 字,適合短文摘要與翻譯
16GB RAM 主流筆電 / MacBook Air 7B – 9B(Q4_K_M 或 Q5_K_M) Qwen 2.5 7B Instruct / Gemma 2 9B 約 4.7 – 5.8 GB|每秒約 20–35 字,日常辦公主力首選
24GB – 32GB RAM / RTX 4070–4090 桌機 14B – 32B(Q4_K_M 量化) Qwen 2.5 14B / DeepSeek-R1-Distill 14B 約 9.0 – 18.5 GB|每秒約 25–45 字,具備複雜合約推理能力
64GB+ 統一記憶體 Mac Studio / MacBook Pro 32B – 70B(Q4_K_M 或 Q6_K) Qwen 2.5 32B / Llama 3.3 70B Instruct 約 20 – 42 GB|每秒約 15–30 字,媲美頂級雲端旗艦模型

從上方表格可以清楚看出,只要根據你電腦現有的記憶體容量對號入座,不用花錢升級硬體就能在 Jan AI 找到跑得順又好用的本地模型。

Jan AI 教學:五分鐘安裝、一鍵下載 Hugging Face 模型與離線問答

清楚自己的電腦適合哪個量級的模型後,我們就可以開始動手安裝。這段 Jan AI 教學完全不需要打開終端機輸入任何指令,所有步驟都在視窗介面裡用滑鼠點選完成。

桌面版下載安裝與更改模型儲存路徑(拯救 C 槽空間)

首先請到 Jan AI GitHub 官方開源儲存庫 或官方首頁,下載對應 Windows、macOS 或 Linux 的安裝檔。安裝過程跟一般聊天軟體一樣,雙擊打開後就會直接進入深色質感的主畫面,完全沒有煩人的註冊登入牆。

在開始下載模型之前,有一個極度重要的防呆步驟一定要先做,那就是點開左下角的齒輪設定,找到「Jan Data Folder」資料夾路徑。

因為每個本地模型動輒 4GB 到 10GB 起跳,如果你的 Windows 電腦 C 槽空間只剩幾十 GB,建議立刻點擊更改路徑,把模型資料夾移到空間充裕的 D 槽或外接 SSD 高速硬碟,免得下載兩三個模型就把系統碟塞爆。

從內建 Hub 一鍵下載或直接貼上 Hugging Face GGUF 網址

設定好儲存路徑後,點選左側導覽列的「Hub」模型中心圖示,你會看到官方已經幫你精選好一整排熱門的開源模型清單。

每一張模型卡片上都會貼心標示檔案大小,並且會根據你電腦的記憶體容量,顯示綠色的推薦可跑標籤或黃色的記憶體不足警告。

如果你在預設清單裡沒看到心儀的繁體中文微調模型,也不必自己去網站慢慢翻找檔案。

你只需要在上方的搜尋框裡,直接貼上 Hugging Face 網站上的任何一個 GGUF 模型儲存庫網址或名稱,系統就會自動解析出所有量化版本,讓你點一下「Download」就能在背景續傳下載。

調整 GPU 加速層數、Context Length(上下文長度)與系統提示詞

模型下載完成並點擊「Use」進入對話視窗後,右側邊欄會有幾個控制滑桿,直接決定了模型的反應速度與記憶力。

第一個必看的是「GPU Layers」顯示卡加速層數,如果你有獨立顯示卡或使用蘋果 M 系列電腦,請確認硬體加速開關已經打開,並把滑桿拉高,這樣運算才會交給高速晶片而不是慢吞吞的傳統處理器。

第二個關鍵參數是「Context Length」上下文長度,它決定了模型單次對話能記住多少字。雖然很多新模型宣稱支援高達 32K 甚至 128K 的超長上下文,但在本機電腦上把這個數值拉太高會瞬間吃光所有記憶體。

因此平時處理一般信件與幾頁的合約摘要時,建議在 Jan AI 先維持在 4096 或 8192,等真的要餵入長篇報告時再往上調。

最後別忘了在右側的「Instructions」系統提示詞格子裡,預先寫入「請一律使用台灣繁體中文與台灣職場慣用詞回答,條列重點並保持語氣專業」。這樣每次開啟離線對話時,就算你用的是阿里巴巴開源的 Qwen 模型,它也會乖乖用道地的台灣正體字幫你寫公文。

進階玩法:開啟本機 OpenAI 相容伺服器,與 LM Studio、Ollama 怎麼選?

當你已經能熟練地在 Jan AI 裡面離線聊天與審閱文件後,這套工具其實還藏了一個能讓生產力翻倍的進階功能。它不只是一個獨立的聊天視窗,還能搖身一變成為你電腦內部的本地推論伺服器。

一鍵啟動 Local API Server 接上 VS Code、Obsidian 與桌面工作台

在軟體左下角或側邊欄找到「Local API Server」頁籤,點一下「Start Server」按鈕,它就會在你電腦本機的 127.0.0.1:1337 埠口啟動一個與 OpenAI 規格完全相容的標準 API 介面。

這意味著任何支援串接 OpenAI 介面的外部軟體,都能透過這個本機網址直接呼叫你剛剛下載好的離線模型。

舉例來說,如果你平時習慣用 Obsidian 寫筆記、用 VS Code 寫輔助腳本,或是用其他多模型桌面工作台整理知識庫,只要把那些軟體裡的連線網址改成本機埠口即可。

如此一來,就能在完全不花一毛雲端流量費、也不外洩半個字的情況下,享受全自動的本機 AI 寫作與程式碼補全。

Jan AI vs LM Studio vs Ollama 三大本地工具優缺點完整對決

很多剛踏入本地模型領域的台灣讀者常常問我,市面上最紅的這三款本地工具到底有什麼差別,該留哪一個在電腦裡?其實它們的底層都是站在 llama.cpp 的肩膀上,但在「開源授權、介面親和度與主打客群」上卻走出了截然不同的路線。

以下我把 Jan AI 與另外兩大本地推論工具的核心定位、授權條款與適合對象整理成表格:

比較項目 Jan AI(開源桌面離線助手) LM Studio(高階玩家圖形介面) Ollama(輕量背景命令列服務)
軟體開源與商用授權 AGPLv3 百分之百開源,企業內部可安心免費使用 閉源免費軟體,企業商用需另外向官方申請授權 MIT 完全開源,最受開發者與第三方軟體歡迎
操作介面與上手難度 極簡現代化聊天介面,最像離線版 ChatGPT,新手最友善 儀表板參數極豐富,適合喜歡微調底層參數的進階玩家 預設無圖形介面,需打開終端機打指令或搭配外接介面
模型下載與格式支援 內建 Hub 一鍵下載 GGUF,亦支援串接遠端雲端金鑰 內建 Hugging Face 搜尋器,硬體相容性提示最詳細 採用專屬打包格式,一行 ollama run 指令即可秒開
對話與資料儲存方式 本機資料夾直接存成明文 JSON 與 Markdown,最好備份 封裝於軟體專屬設定目錄內,跨軟體攜帶性較低 專注於提供背景推論服務,本身不負責長篇對話歸檔

從上方表格可以清楚看出,如果你待在對軟體授權與資安合規極度敏感的企業環境,而且希望打開軟體就有好看的聊天視窗而不用敲終端機指令,那麼百分之百開源的 Jan AI 就是最省心的選擇。

延伸閱讀:NVIDIA 投資指南:輝達 NVDA 做什麼、財報重點與美股購買教學

常見問題(FAQ)

Q1:照著這篇 Jan AI 教學安裝完之後,真的拔掉網路線也能跟 AI 聊天嗎?

沒錯,只要你在有網路的時候先把 GGUF 模型檔案完整下載到電腦硬碟裡,接下來的文字生成、翻譯、摘要與邏輯推理全部都是靠你電腦自己的處理器與顯示卡運算。

你可以親自把 Wi-Fi 關掉並拔除網路線實測 Jan AI,它依然能正常回應你的所有提問,真正做到物理級別的防洩密。

Q2:在筆電上跑本地模型,為什麼電腦風扇會突然轉得很大聲而且很耗電?

因為以前你在網頁版跟 AI 聊天時,繁重的矩陣乘法運算是遠在美國或台灣的雲端大型資料中心幫你扛下來的。

現在改用 Jan AI 在本地離線執行,等於是把你電腦裡的顯示卡或蘋果 M 系列晶片催到全速運轉,所以在生成回答的那幾秒鐘內風扇加速與耗電量增加完全是正常物理現象,一旦回答結束就會立刻恢復安靜。

Q3:為什麼我下載的開源模型有時候會突然蹦出簡體字或英文?

因為目前全球表現最強的中小型開源模型,例如阿里巴巴的 Qwen 系列或 Meta 的 Llama 系列,在預訓練階段吃進去的簡體中文與英文語料比例遠高於繁體中文。

要解決這個問題非常簡單,只要在 Jan AI 對話框右側的「Instructions」系統提示詞欄位固定寫上「請務必全程使用台灣繁體中文與台灣慣用詞彙回答,禁止輸出簡體字」,就能大幅穩定它的輸出語系。

Q4:我的電腦只有內建顯示卡、沒有買輝達(NVIDIA)獨顯,還能用這套軟體嗎?

依然可以使用,只是你需要挑選參數量較小的模型,例如 3B 或 7B 的 Q4 量化版。

因為 Jan AI 底層的推論引擎支援純 CPU 運算以及一般內顯加速,雖然每秒吐字的速度比不上有獨立顯示卡的電競電腦,但用來處理幾百字的信件改寫、會議重點整理或英文翻譯,等待時間通常也只在幾秒鐘之內。

Q5:如果我哪天覺得某個本地模型不好用,要怎麼把它刪掉把硬碟空間清出來?

這正是 Jan AI 設計最乾淨的地方,你可以直接點進左側的「Hub」或設定裡的模型管理列表。

接著在不想留的模型旁邊點一下刪除圖示,系統就會把那個動輒好幾 GB 的 GGUF 檔案徹底從硬碟移除,完全不會在系統深處留下清不掉的垃圾快取。

結語:把機密留在自己硬碟裡,你的下一步離線 AI 實踐清單

回顧整個本地部署流程,我們之所以要在電腦裡準備一套像這樣的離線版對話工具,重點是為了在面對敏感合約、客戶個資與內部財務數據時,擁有一個「既不踩公司資安紅線、又不必退回純手工加班」的安全避風港。

當雲端與本機兩手工具都準備齊全,你才是真正掌握工作流主導權的人。

如果你今天手邊正好有一份不敢貼上網頁版的內部文件,現在就可以花三分鐘下載軟體,先按照你電腦的記憶體容量挑一個 3B 或 7B 的 Q4_K_M 模型裝起來。

親自試一次關掉 Wi-Fi 後請它幫你提煉那份文件的五個決策重點,你就會發現原來在自己的筆電上養一個不連網的私人智囊團,門檻遠比想像中低得多。

同時,對於從本地推論硬體門檻看出個人電腦與資料中心算力升級趨勢的讀者,若想透過國內券商幫你代為下單海外市場的複委託管道,或是比較由海外券商保管資產並代為持有的託管模式,也可以參考下方的完整比較指南。

延伸閱讀:美股購買管道完整比較:複委託與海外券商怎麼選

資料來源

Read more