LLM

【科技專題】AI 大神 Andrej Karpathy 發布 2025 LLM 年度回顧：RLVR、Vibe Coding 與「鋸齒狀」智力的崛起

近日，Karpathy 發布了《2025 LLM Year in Review》，總結了過去一年大型語言模型（LLM）領域發生的範式轉移。

20 Dec 2025 — 8 min read

誰是 Andrej Karpathy？

在人工智慧領域，很少有人的觀點能像 Andrej Karpathy 一樣引起廣泛關注。

作為 OpenAI 的創始成員之一，他曾協助構建了現代生成式 AI 的基礎；隨後擔任特斯拉（Tesla）AI 總監期間，他領導了自動駕駛視覺團隊，將深度學習應用於現實世界的大規模機器人系統。

如今，他投身於 AI 教育領域，創立了 Eureka Labs，致力於普及高品質教育。

Karpathy 不僅是頂尖的研究者，更是一位能夠將複雜技術概念轉化為大眾語言的優秀教育家，他提出的「軟體 2.0」概念重新定義了我們對程式開發的理解。

近日，Karpathy 發布了《2025 LLM Year in Review》，總結了過去一年大型語言模型（LLM）領域發生的範式轉移。

以下是他在這份報告中提出的六大核心觀察：

Karpathy 指出，2025 年 LLM 生產流程出現了重大變革。

過去的標準流程是：

1.預訓練 (Pretraining)
2.監督微調 (SFT)
3.人類回饋強化學習 (RLHF)

但在 2025 年，「來自可驗證獎勵的強化學習」（Reinforcement Learning from Verifiable Rewards, RLVR）成為了新的關鍵階段。

透過在數學或程式碼這類具有客觀、不可博弈（non-gameable）獎勵的環境中訓練，模型自發地發展出人類視為「推理」的策略。

它們學會將問題拆解，並反覆推敲以找出答案。

這與 DeepSeek R1 論文中的例子相呼應。

這一階段允許更長時間的最佳化，將算力轉移到了推理過程，OpenAI 的 o1 和 o3 模型正是此一趨勢的代表，人們可以直觀地感受到模型在「思考時間」上的差異。

Karpathy 提出了一個生動的比喻：我們不是在「演化動物」，而是在「召喚幽靈」。

人類的智力是為了在叢林中生存而演化的，但 LLM 的神經網路是為了模仿文本、解決數學謎題而最佳化的。

這導致 AI 展現出一種「鋸齒狀」的能力特徵：它們可能同時是一個博學的天才，卻又像個困惑的小學生，容易被簡單的越獄攻擊欺騙。

這也導致了基準測試（Benchmarks）的崩壞，因為實驗室可以針對這些可驗證的測試集進行過度優化，導致測試分數失去參考價值。

2025 年也是應用層爆發的一年，特別是像 Cursor 這樣的工具崛起。

Karpathy 認為這揭示了「LLM 應用」的新層次：這些應用程式不僅僅是發送提示詞，它們負責「上下文工程（Context Engineering）」、編排多個 LLM 的調用，並提供特定領域的圖形介面（GUI）和「自治滑桿（autonomy slider）」。

未來的 LLM 應用將像是一個組織者，將模型訓練成特定領域的專業人士。

Anthropic 推出的 Claude Code 展示了 AI Agent 的新形態——它直接運行在你的電腦上（localhost），而不是雲端容器中。

Karpathy 認為這是一個關鍵的區別，因為它允許 AI 存取使用者的本地環境、數據和設定。

這種互動範式讓 AI 不再只是一個網站，而是一個「住在你電腦裡的小精靈」。

「Vibe Coding」一詞在 2025 年成為主流。

這意味著 AI 的能力已經跨越了一個門檻，人們可以完全透過自然語言（英文）來構建複雜的程式，甚至「忘記程式碼的存在」。

這不僅讓普通人能寫程式，也讓專業人士能快速構建那些以前因成本過高而不會去寫的軟體。

Karpathy 自己就透過 Vibe Coding 用 Rust 語言寫了一個高效的 BPE 分詞器，儘管他並不精通 Rust。

Karpathy 認為 LLM 是繼 1970、80 年代電腦之後的下一個主要運算範式。

目前的對話介面就像是 80 年代的命令行（Command Line），雖然對電腦來說文本是原生格式，但人類更喜歡視覺化的資訊。

Google 的 Gemini Nano banana 模型展示了未來的可能性：LLM 應該以圖像、圖表、投影片或動態介面來回應我們，而不僅僅是文字。

儘管 2025 年進展驚人，Karpathy 在總結中強調，我們目前甚至還沒有挖掘出 LLM 現有能力的 10%。

他認為我們正處於新運算時代的「1960 年代」，基礎設施和應用生態才剛剛起步。

在更廣泛的未來展望中，Karpathy 提出了以下幾點見解：

AGI 仍需十年： 儘管技術飛速發展，Karpathy 認為通用人工智慧（AGI）不會是一個突然發生的奇點，而是會融入未來十年的 GDP 增長中，成為我們日常生活的一部分。
教育的革命： 離開 OpenAI 後，Karpathy 將重心轉向教育。他認為 AI 將成為強大的導師，能夠為全球每個人提供個人化、高品質的教育內容，這不僅是為了傳遞知識，更是為了賦能人類，突破個人的認知極限。
人機協作而非取代： 他強調 AI 的目標應該是「賦能人類」而非「取代人類」。未來的 AI 應像鋼鐵人裝甲一樣增強人類的能力，透過「部分自治（Partial Autonomy）」的模式，讓人們在保持監督的同時大幅提升生產力。
核心學科的重要性： 對於未來的學習者，Karpathy 建議專注於數學、物理和電腦科學。這些學科能塑造思維能力和解決問題的邏輯，這是面對快速變化的 AI 時代最核心的技能。