18 萬星開源神器 Ollama 懶人包:一行指令在電腦跑 Llama、DeepSeek 與 Gemma 的本地 AI 入門全攻略
Ollama 本地 AI 入門:安裝與啟動模型、硬體選擇、API 相容性,以及本機與雲端資料流向。
想在自己的電腦試用大型語言模型,卻不想從推論環境與模型格式開始設定?Ollama 提供指令列、應用程式與 API,讓下載和執行模型的流程更容易上手。
截至 2026 年 11 月 22 日,Ollama 的 GitHub 專案已有超過 18 萬顆星。選用本地模型並完成下載後,推論可在自己的設備進行;Ollama 也提供雲端模型,兩者的資料流向不能混為一談。
本文介紹安裝、啟動、模型大小、記憶體與隱私注意事項。實際速度與能否執行,仍取決於硬體、模型及設定。
延伸閱讀:Prompt Engineering Guide 提示詞工程教學
Ollama 是什麼?
Ollama 提供下載、管理與執行模型的工具,也提供本地 API,讓應用程式能把請求送到模型。它支援多種平台與硬體加速,實際支援的 GPU 和版本請查看官方文件。模型權重需另外下載,不是全部包含在安裝程式裡。
本地服務預設位址為 http://localhost:11434。Ollama 提供自己的 API,也支援部分 OpenAI API 格式;不同功能與客戶端仍須測試相容性,不能保證改個網址就完全相容。
三步驟開始執行本地模型
- 從 Ollama 官方下載頁選擇作業系統並安裝,依官方指示啟動服務。Linux 安裝也可參考官方文件;執行任何下載的安裝腳本前,先閱讀內容。
- 開啟終端機,執行下列指令下載並啟動 Llama 3.2 模型。首次使用需要網路與足夠的磁碟空間:
ollama run llama3.2
下載完成後,就能在互動介面輸入問題。結束對話可使用 /bye;已下載的本地模型可在適當設定下離線執行,但更新、下載模型及雲端功能仍需連線。
- 檢查已下載與目前載入的模型:
ollama list
ollama ps
ollama list 列出已下載模型;ollama ps 顯示目前載入的模型,官方文件指出 Processor 欄位可用來觀察 CPU/GPU 的配置。若要釋放磁碟空間,可用 ollama rm 模型名稱 刪除不再使用的本地模型,操作前先確認名稱。
模型怎麼選?先從硬體與任務開始
模型庫包含 Llama、Gemma、Qwen 與 DeepSeek 等系列,各自有不同大小、能力和授權。先看 Ollama 模型頁的實際標籤、檔案大小與模型授權,再用自己的中文、程式或摘要任務測試;模型名稱相似不代表輸出品質相同。
模型檔案大小不等於執行所需全部記憶體。作業系統、其他程式、上下文長度、量化版本,以及 CPU/GPU 分配都會影響需求。記憶體不足可能導致執行失敗或速度大幅下降,因此先選較小模型,再觀察實際資源使用。
部分模型可使用 CPU 執行;相容 GPU 或 Apple Silicon 可能改善速度,但是否能順利載入及速度如何,需以設備和模型實測為準。不要把單一記憶體數字視為所有模型的保證門檻。
本地與雲端:資料會去哪裡?
選擇已下載的本地模型時,推論可在自己的硬體上進行;但 Ollama 同時提供在雲端執行的模型。官方說明,雲端模型的提示與回答會由 Ollama 雲端處理。因此不能因為使用 Ollama 就保證所有資料都留在本機。
若要維持本地推論,請確認所選模型、連接端點與前端工具設定,並參考官方文件停用雲端功能。上傳機密資料前,還要檢查外掛、連線服務、存取權限與公司政策;本地執行也不自動等於完整的安全防護。
常見問題
中文表現由 Ollama 決定嗎?
主要取決於選用的模型及版本。可準備繁體中文測試題,比較回答的正確性與用字;AI 結果仍需要查核。
可以接圖形介面嗎?
可以搭配支援 Ollama 的第三方介面,例如 Open WebUI。各工具的文件上傳、檢索和隱私設定不同,並非安裝 Ollama 後就自動具備完整文件問答功能。
本地 API 是否完全相容 OpenAI API?
官方提供部分相容的 API 端點;請依實際功能、參數和應用測試,不應假設所有 OpenAI 功能都能直接替換。