GitHub 破 10.8 萬星 LLMs-from-scratch 免費教材:用 PyTorch 從零手刻一個 ChatGPT 級大語言模型

用過各種 AI API 卻始終看不懂大語言模型黑盒子裡到底在算什麼?GitHub 突破 10.8 萬星的 LLMs-from-scratch 開源程式庫,由知名 AI 研究者 Sebastian Raschka 手把手帶你用純 PyTorch 從零實作 Tokenizer、Attention 注意力機制、GPT 預訓練與指令微調。

Share
GitHub 破 10.8 萬星 LLMs-from-scratch 官方開源程式庫預覽圖
由 Sebastian Raschka 撰寫並開源的 LLMs-from-scratch 在 GitHub 已累積超過 10.8 萬顆星與 1.6 萬次 Fork。 圖片來源:GitHub 官方開源儲存庫。

只靠呼叫 client.chat.completions.create() 雖然能快速做出 AI 應用,但每當模型出現幻覺、Context 長度爆表或推論延遲突然飆高時,許多開發者卻只能對著黑盒子乾瞪眼,不知道底層究竟發生了什麼事。

如果你想真正看穿大語言模型的內部構造,卻又被學術論文裡滿頁的張量維度與晦澀術語勸退,那麼由知名 AI 研究者 Sebastian Raschka 維護的 LLMs-from-scratch 官方儲存庫,就是目前開源社群公認最扎實的破關鑰匙。

這份與《Build a Large Language Model (From Scratch)》專書同步配套的免費開源程式庫,在 GitHub 上已經狂掃 108,785 顆星與 16,817 次 Fork。

它不依賴高階封裝框架幫你隱藏細節,而是直接用純 PyTorch 帶你從零寫起——從怎麼把文字切碎成 Token、手刻多頭自注意力機制(Multi-Head Self-Attention)、組裝完整的 GPT 架構並執行預訓練,一路做到垃圾郵件分類微調與類 ChatGPT 的指令微調(Instruction Tuning)。

最棒的是,整套教材設計得非常務實,即使你手邊只有一台沒有頂級資料中心顯卡的筆電,也能在作者提供的輕量級設定下親自把訓練與微調流程跑通。

延伸閱讀:18 萬星開源神器 Ollama 懶人包:一行指令在電腦跑本地 AI 入門全攻略

GitHub 破 10.8 萬星 LLMs-from-scratch 官方開源程式庫預覽圖
由 Sebastian Raschka 撰寫並開源的 LLMs-from-scratch 在 GitHub 已累積超過 10.8 萬顆星與 1.6 萬次 Fork。 圖片來源:GitHub 官方開源儲存庫。

不靠黑盒子套件!這份 10.8 萬星教材到底教會你什麼真功夫?

市面上多數介紹 Transformer 或大語言模型的教學,往往走兩個極端:要麼只用五張投影片帶過抽象概念,要麼直接拿 Hugging Face 的 Trainer 套件呼叫現成函式,讓你跑完程式依然不知道矩陣是怎麼相乘的。

Sebastian Raschka 在 LLMs-from-scratch 採取了截然不同的「工程師實作派」路線:所有核心模組全部手寫,每一行張量形狀變化都攤在陽光下。

把《Build a Large Language Model》整套實作程式碼完全開源

這份 GitHub 儲存庫本身就是同名暢銷技術專書的官方程式碼寶庫,裡面按照章節順序收錄了極為詳盡的 Jupyter Notebooks、獨立可執行的 Python 腳本,以及大量的額外技術補充(Bonus Materials)。

除了書中正文的七大核心章節外,作者還持續在儲存庫裡更新前沿開源架構的純 PyTorch 實作對照,例如如何從 GPT 架構遷移理解 Llama 系列、混合專家模型(MoE)或各類新型注意力機制的記憶體優化技巧,讓這份免費教材一直保持在最新狀態。

從 0 到 1 看懂「文字如何變成智慧」的每個數學齒輪

當你親手寫完資料載入器(DataLoader)並把 CausalAttention 類別的遮罩矩陣(Mask)親手填上負無窮大時,過去那些聽起來很玄的專有名詞會瞬間變得立體起來。

你會立刻明白為什麼自注意力機制的計算量會隨著輸入長度呈平方級成長,也會徹底搞懂什麼是 KV Cache 加速、為什麼模型需要 LayerNorm 與殘差連接,以及預訓練(Pretraining)和微調(Fine-tuning)在損失函數計算上的根本差異。

以下比較「只會呼叫套件 API」與「透過 LLMs-from-scratch 從零手刻」的技術掌握度差異:

技術能力維度 僅使用高階框架 / API 開發 透過 LLMs-from-scratch 手刻實作
分詞與資料管線 僅知道輸入文字有 Token 上限 親手實作 BPE 分詞概念與滑動視窗資料載入器
注意力機制理解 停留在名詞記憶,不知為何耗費顯存 手寫 Q/K/V 投影矩陣、因果遮罩與多頭注意力
模型架構掌控度 視模型為單一黑盒子 完整組裝 Transformer Block、嵌入層與輸出頭
預訓練與權重載入 無法理解預訓練權重結構 實作訓練迴圈,並能載入官方開源 GPT-2 權重驗證
下游微調能力 只能套用現成 LoRA 腳本 親手實作分類微調與指令微調的資料格式化及訓練

七大章節學習路線圖:從 Tokenizer、Attention 一路手刻到指令微調

為了讓讀者清楚掌握學習節奏,LLMs-from-scratch 把打造一個現代大語言模型的龐大工程拆解成七個層層相扣的章節。

前半段(Chapter 2–4):打通文字編碼、注意力機制與 GPT 主架構

第 2 章從處理純文字資料起步,介紹分詞器(Tokenizer)如何將人類文字轉換成整數 ID、Byte Pair Encoding(BPE)演算法背後的統計邏輯,以及如何把離散的 ID 映射成連續的向量嵌入(Token Embeddings)加上位置編碼。

第 3 章則是整座知識大樓的靈魂所在——作者循序漸進地從最簡單的無權重注意力開始,一步步加上可訓練權重、因果遮罩(確保模型生成時不能偷看未來的字),最後擴展成完整的多頭注意力模組。到了第 4 章,你就能把這些積木全部組裝進一個完整的 GPT 模型類別裡,印出參數數量並完成第一次前向傳播。

後半段(Chapter 5–7):預訓練權重載入、分類微調與指令微調

有了一具空殼模型後,第 5 章教你如何撰寫訓練迴圈來計算交叉熵損失(Cross-Entropy Loss)、實作溫度縮放(Temperature Scaling)與 Top-k 採樣解碼策略,並示範如何把 OpenAI 釋出的預訓練權重無縫載入你剛剛自己手刻的模型骨架裡。

第 6 章與第 7 章則進入真正讓模型產生商業價值的微調階段:第 6 章改裝模型輸出頭來做文字分類任務(例如垃圾訊息偵測),第 7 章則教你準備指令微調資料集,訓練出一個能聽懂「請將以下句子翻譯成…」這類人類指令的 ChatGPT 雛形,甚至還會教你怎麼用另一個模型當裁判來自動評估微調後的回答品質。

章節 核心實作主題 關鍵學習成果
Chapter 1 理解大語言模型與 Transformer 總覽 建立編碼器與解碼器架構的宏觀認識
Chapter 2 文字資料處理與 Embeddings 掌握 BPE 分詞、滑動視窗取樣與詞向量嵌入
Chapter 3 實作注意力機制(Attention) 手寫自注意力、因果遮罩與多頭注意力模組
Chapter 4 從零組裝 GPT 模型架構 完成 LayerNorm、GELU、捷徑連接與 GPT 主體
Chapter 5 在無標籤資料上進行預訓練 跑通訓練迴圈、文字生成策略與載入預訓練權重
Chapter 6 針對文字分類進行微調 修改模型輸出層,在真實資料集上微調分類器
Chapter 7 指令微調(Instruction Tuning) 製作問答格式資料集,手刻出能對話的助理模型

沒有 H100 顯卡跑得動嗎?實戰硬體門檻與練習技巧

聽到「預訓練大語言模型」,很多台灣開發者的第一反應是:「我沒有幾十萬塊的伺服器顯卡,根本跑不動吧?」

這正是 LLMs-from-scratch 在教學設計上最貼心的地方:書中所有程式範例預設採用的是小型化的 GPT-2 規模(例如 1.24 億參數級距),並且在每個運算繁重的步驟都明確標註了在一般筆電 CPU、Mac 統一記憶體或單張消費級顯卡(甚至免費版 Google Colab)上的執行時間與替代方案。

善用預訓練權重接軌,把算力留給最有價值的微調實驗

實際練習時,你不需要真的花好幾天從零訓練出一個會流利說話的模型。書中的設計是讓你用小規模文字檔驗證自己寫的預訓練迴圈沒有 Bug,確認損失值穩定下降後,立刻在第 5 章末端載入官方公開的預訓練權重。

一旦模型擁有了基礎的語言理解能力,接下來的分類微調與指令微調即使在一般消費級硬體或雲端免費 GPU 上,通常也只需要幾分鐘到十幾分鐘就能親眼看到模型學會新技能,成就感非常高。

延伸閱讀:RTX 5080 16GB 跑本地 AI 夠用嗎?量化模型與顯存實測指南

結語:寫給想從「AI 使用者」晉升「模型工程師」的你

在各種自動化工具與開箱即用套件滿天飛的時代,花時間親手刻一遍底層架構看似很慢,其實是建立長期技術護城河最快的方法。

當別人還在網路上到處問為什麼模型記憶體爆掉、為什麼微調後能力反而退化時,讀懂 LLMs-from-scratch 的工程師早就從矩陣維度與梯度流向裡看出問題根源。

如果你已經具備基礎 Python 與 PyTorch 張量操作經驗,不妨今天就把 LLMs-from-scratch GitHub 儲存庫 Clone 下來,從 Chapter 2 的 Notebook 開始一行一行敲過去,親手把大語言模型的黑盒子徹底拆開。

延伸閱讀:新手在 Windows 或 Mac 跑本地 AI 選 Ollama 還是 LM Studio 完整對比

常見問題(FAQ)

Q1:學習 LLMs-from-scratch 需要什麼先備知識?完全沒學過 PyTorch 可以直接看嗎?

這份教材預設讀者已經具備基礎的 Python 程式設計能力,以及對線性代數(矩陣乘法、轉置)和微積分梯度的基本印象。如果你之前完全沒碰過 PyTorch,建議先花一個週末把儲存庫附錄(Appendix A)的 PyTorch 基礎教學 Notebook 跑過一遍,搞懂張量運算與自動微分概念後再進入正文章節,學習會順暢非常多。

Q2:GitHub 上免費的程式碼內容,和實體書《Build a Large Language Model (From Scratch)》有什麼差別?

GitHub 儲存庫完整開源了書中所有章節的實作程式碼、Jupyter Notebooks、練習題解答以及額外技術補充,即使不買書也能透過註解與程式邏輯自學實作。而實體書或電子書則提供更連貫的文字敘事、大量的架構圖解與數學直覺推導,兩者搭配使用效果最好。

Q3:我的電腦只有內建顯示卡或 16GB 記憶體的筆電,跑得動裡面的訓練程式嗎?

完全可以。作者在設計課程範例時特別考量到個人電腦的算力限制,第 2 到第 4 章的模組測試在一般筆電 CPU 上幾秒鐘就能跑完;第 5 到第 7 章需要較多運算的預訓練與微調練習,除了可以在本地縮小批次大小執行外,也能直接把 Notebook 上傳到免費版的 Google Colab 或 Kaggle 執行 GPU 加速。

資料來源

Read more