破 10 萬星 LangChain 懶人包:從串接外部工具、RAG 知識庫到多代理協作的開源應用框架全解析
LangChain 和 LangGraph 如何串接模型與工具?以 Ollama 示範本機推論,並解析 RAG 檢索、授權與資料安全。
想讓 AI 應用讀取文件、呼叫工具,或依任務安排多個步驟?LangChain 提供模型與工具的整合元件;LangGraph 則讓開發者設計有狀態的代理流程。
LangChain 官方 GitHub 專案已突破 10 萬星。本文整理兩者的角色,並以 Ollama 示範一條本機推論管線,再說明建立 RAG 時需要補上的檢索步驟。
本機執行、離線使用與免費 API 並不完全相同;模型授權、硬體、外部工具與追蹤設定,都會影響實際部署。
LangChain 與 LangGraph 各做什麼?
LangChain 提供模型、提示詞、工具和檢索等元件,協助開發者串接 AI 應用。不同供應商雖然有共同介面,仍可能在工具呼叫、上下文長度、輸出格式和費用上不同;切換後應重新測試。
LangGraph 是較低階的代理編排框架,適合處理有狀態的流程、分支、循環與人工介入。LangChain 的代理功能也建置在 LangGraph 之上。需要簡單問答時,直接使用模型供應商 SDK 也可以,不一定需要框架。參考LangChain 官方文件與LangGraph 官方文件。
動手建立本機模型管線
以下範例示範提示詞、模型與輸出解析器的組合,屬於入門推論範例,不是完整 RAG。先安裝 Python 與 Ollama,啟動 Ollama 本機服務,並先下載指定模型。模型大小、硬體需求與使用授權請依模型頁確認。
ollama pull qwen2.5:7b
pip install -U langchain-core langchain-ollama接著把以下內容存成 Python 檔案並執行:
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_ollama import ChatOllama
prompt = ChatPromptTemplate.from_template("請用繁體中文條列說明 {topic} 的三個應用場景。")
model = ChatOllama(model="qwen2.5:7b")
chain = prompt | model | StrOutputParser()
print(chain.invoke({"topic": "企業內部 RAG 知識庫"}))模型標籤必須與已下載版本一致;若無法連線,請檢查 Ollama 是否啟動、模型是否下載及電腦資源是否足夠。範例依據官方 ChatOllama 整合說明整理,本文未提供各機型的執行速度實測。
從範例走到 RAG:還差哪些步驟?
要讓回答參考自己的文件,需要另行實作文件讀取、切分、向量嵌入、索引、查詢檢索與將找到的內容送進模型。光把文件切開、存入向量庫,還不會自動完成問答。
嵌入模型和向量資料庫可選本機或雲端方案:若要離線,必須確認模型權重、套件、索引與所有依賴已預先取得,且整個流程沒有呼叫雲端服務。建議保留引用來源,並實測檢索品質;RAG 不保證零幻覺。
開源、費用與資料安全
- 授權:LangChain 原始碼採 MIT 授權;模型權重、資料與其他元件各有自己的使用條件,商用前應分別確認。
- 成本:本機模型不一定產生雲端 API 費,但硬體、電力、維運及其他服務仍有成本;雲端模型通常依供應商方案計費。
- 資料:工具連到外部 API、雲端模型或追蹤服務時,可能傳送提示詞與工具資料;使用前應檢查設定及公司的資料政策。
- 版本:套件和整合方式會更新,建議固定相容版本、記錄環境,並以官方文件確認最新用法。
常見問題
一定要用 LangChain 才能做 RAG 嗎?
不一定。也可以自行組合模型 SDK、嵌入模型與資料庫;框架是否有幫助取決於團隊需求與維護成本。
程式碼可以直接讀取我的 PDF 嗎?
上面的程式只示範模型推論,沒有讀取文件。PDF 解析、切分、檢索與引用需要另外設定。
LangSmith 一定要使用嗎?
不必。LangSmith 是可選的追蹤與評估服務;若啟用追蹤,應先確認傳送的資料、保留設定與費用。
先從一條能理解、能測試的流程開始,再視需求加入檢索與工具,會比一次堆滿框架功能更容易排錯。