AI 調教 AI,數學成績從 7.9% 衝到 48.1%?GPT-6 Astra 改寫 Qwen 權重,只改動 0.016%

MIT 研究讓 GPT-6 Astra 直接改寫 Qwen 的權重,數學成績從 7.9% 衝到 48.1%。另有 Google 太空資料中心、Genie 4、Anthropic 自己做藥、Reddit 改登入制、Alexandr Wang 的 YC 對談等本週 AI 大事

Share
AI 調教 AI,數學成績從 7.9% 衝到 48.1%?GPT-6 Astra 改寫 Qwen 權重,只改動 0.016%

在進入本週大事之前,先插播一件我們很感恩、也很期待的事:12/5 的 AI郵報年會 OPEN LAB 2026,已經有超過百位讀者報名啦!謝謝大家在資訊還沒這麼完整的時候,就願意先報名。

接下來每一週,我們都會陸續公布為這場活動精心準備的 session;也先偷偷跟大家分享,這會是亞太地區第一個以 RTX Spark 桌機做為現場 Demo 與體驗的活動哦!

想了解更多,請至活動官方網站

今年我們想把每週在電子報裡聊的 AI 新鮮事,搬到現場讓大家親手玩:AI Playground 有影像、Agent、Coding、音樂和資安的體驗區,NVIDIA 和 GIGABYTE 也會帶最新的 RTX Spark 筆電與桌機到現場;手癢想做點東西的人,可以免費報名 AI Build Challenge,當天就是決賽展示和頒獎。

競賽請點我報名

我自己很興奮的是「AI 告解牆」。超過百位讀者在讀者調查裡,匿名寫下了自己和 AI 之間的告解,完整內容會留到當天才公開。想知道大家私底下都怎麼跟 AI 相處的,就來現場看吧。

活動結束後,17:30 起有餐食、飲品和自由交流,AI Music 與 Live Coding 的演出也會陸續公布。如果你有在追我們的 Instagram,現在分享限動還能抽 3 張年會門票,11/9(一)23:59 截止。

📍 12/5(六)台北瓶蓋工廠 F 棟|13:00 報到、13:30 開始
🎟️ 一般票 NT$800,名額有限

活動頁面:https://openlab.aiposthub.com/
Luma 報名頁:https://luma.com/zr1k4qa5


本週焦點事件

  1. AI 調教 AI,數學成績從 7.9% 衝到 48.1%?GPT-6 Astra 改寫 Qwen 權重,只改動 0.016%
  2. 馬斯克提到的軌道資料中心願景,Google 比他先上太空了?
  3. Google DeepMind 發表 Genie 4:AI 生成的世界開始有聲音,裡面的角色會跟你聊天
  4. Anthropic 收購一人生技公司 Mithril:一個人加 Claude,18 個月把新藥推到小鼠實驗
  5. Reddit 要關「大門」?Reddit 要你先登入才給看,全因 Google AI 摘要拿走流量
  6. Alexandr Wang 在 YC 說:智慧很快就不稀缺了,稀缺的是願景和野心

AI 調教 AI,數學成績從 7.9% 衝到 48.1%?GPT-6 Astra 改寫 Qwen 權重,只改動 0.016%

MIT CSAIL 的研究者在 11 月 2 日發表〈Sparks of Weight-Space Programming〉,請 OpenAI 的 GPT-6 Astra 讓 Alibaba 的小模型 Qwen3.5-0.8B 變得更會解數學題。Astra 只是改變權重中 131,072 個數字,Qwen 在 MATH-500 數學測驗的分數就從 7.9% 升到 48.1%,這 131,072 約佔全部的參數的 0.016%。

研究裡的其中一個小網路正在玩 Breakout。Astra 只讀這類網路的權重(不讓它實際執行),就說出了四個網路各自學的是哪款遊戲
研究裡的其中一個小網路正在玩 Breakout。Astra 只讀這類網路的權重(不讓它實際執行),就說出了四個網路各自學的是哪款遊戲|圖片來源:Takehi et al., MIT CSAIL

「權重」是神經網路裡的大量數字,決定一個模型看到輸入之後怎麼算出答案。過去要改變模型的行為,只能靠訓練:準備資料、反覆微調,讓幾億個數字慢慢移動,沒有人會一個一個去讀、去改。

兩位來自 MIT 的研究者 Rikiya Takehi 與 Jayden Teoh 開創了一種新的做法,名為「權重空間編程」:讓前沿模型直接讀懂權重,再依照一句自然語言的目標去寫或改。

Astra 在 Qwen 實驗裡拿到一個能讀寫權重的 Python 環境、一些練習用的數學題,以及最多 50 次讓模型實際跑一遍的額度。Astra 先觀察 Qwen 怎麼失敗,發現 93% 的答案都卡在推理迴圈裡,修完之後,推理撞到字數上限的答案從 93% 降到 33.1%,各式成績也都有顯著提升。

同一招用在 Google 的 Gemma 3 270M 上,幾乎沒有效果,數學分數停在 6.8% 到 7.7% 之間。原因是 Gemma 很少繞圈,它答錯就是單純推理錯,沒有一個可以關掉的開關。作者的結論是,改權重可以移除把能力藏起來的障礙,但沒辦法加上模型本來就沒有的能力。

工程師 Sean Goedecke 認為 Qwen 這個最亮眼的結果,本質上是業界已經在用的 steering 技術,差別只在這次由 AI 自己動手。所有實驗紀錄都公開在 GitHub,修好的 Qwen 也放上了 Hugging Face,任何人都能下載對照。

💡
AI 小知識:什麼是 Steering?
Steering 就是不重新訓練模型,直接在它「思考的過程中」輕輕推一把,讓它的行為改變。模型運作時內部會產生一堆數字,研究者發現像「誠實」「諂媚」「某種語氣」這類概念,在這些數字裡大致對應到一個「方向」,只要在運作時往那個方向多推一點(或反方向推),模型的表現就會跟著改變。

作者說他們正在做一套 benchmark 和工具,讓 AI 更有系統地探索、寫入權重。目前能確定的是,AI 已經能接手一部分模型工程師的除錯工作。


馬斯克提到的軌道資料中心願景,Google 比他先上太空了?

Google 在 10 月 30 日公布,Project Suncatcher 的原型衛星完成第一次在軌 AI 推論:工程師趁衛星過境時上傳提示,機上的 TPU 跑起 Google 的開放模型 Gemma 4,傳回一首關於太空的俳句。

Project Suncatcher 的構想:一群帶著 TPU 的衛星靠太陽能供電、用雷射互相傳資料,合起來像一座在軌道上的資料中心
Project Suncatcher 的構想:一群帶著 TPU 的衛星靠太陽能供電、用雷射互相傳資料,合起來像一座在軌道上的資料中心|圖片來源:Google Research

這個畫面讓人想起今年 1 月,Elon Musk 在 Peter Diamandis 主持的 Podcast《Moonshots》裡長達三小時的深聊。談到太空,Musk 說他看得到一條路,每年把 100 GW 的太陽能 AI 衛星送上軌道;Diamandis 當場換算,這大約要發射 50 萬顆 Starlink V3、飛 8,000 多趟 Starship,再往下聊到更大的規模,Musk 自己都說「顯然是有點瘋狂的數字」。共同主持人 Dave Blundin 補了一句:「可能 Elon 早就講過,只是直到現在才有人相信。」當時聽起來,很像天方夜譚。

Elon Musk 最新訪談:軌道資料中心、機器人海嘯、全民高收入、勸退醫學院...
本週最值得關注的訪談,莫過於 Elon Musk 在 Peter Diamandis 主持的《Moonshots》Podcast 中長達三小時的深聊。 整場訪談像在看 Musk 寫一部關於 2035 年的小說,一層層拆解他眼中十年的成長、改變邏輯:從 AI 奇點、AI 的終點是太陽能、機器人影響經濟結構、全民高收入到勸退醫學院與人類壽命...真的是天南聊到地北。因為內容有趣又有知識點,所以本週特別幫大家整理出這場訪談的四大精華觀點。 這週廢話不多說,馬上讓我們進入本週的五件 AI 大事,搭配一段觀察筆記 讓你不只是看熱鬧,也能看懂門道。 本周焦點事件 1. 馬斯克在《Moonshots》Podcast 中的未來全景:奇點、能源、機器人與經濟模式重構 2. ChatGPT Health 上線:AI 開始讀懂你的醫療紀錄了

十個月後,第一批實測已經在天上了,快速補幾個背景:

  • 新創 Starcloud 比 Google 更早,2025 年 11 月把一顆 Nvidia H100 送上軌道,還在上面訓練了一個小模型,所以 Google 只稱自己是「資料中心等級 TPU」的第一個在軌回應。
  • SpaceX 在 2026 年 1 月向美國 FCC 申請營運最多 100 萬顆資料中心衛星
  • 三家都卡在發射成本。Google 自己推估,發射費用要在 2030 年代中期降到每公斤 200 美元以下才划算,而最有機會做到的,是 SpaceX 的 Starship。

Google DeepMind 發表 Genie 4:AI 生成的世界開始有聲音,裡面的角色會跟你聊天

Google DeepMind 在 10 月 27 日發表 Genie 4,新一代的「世界模型」。輸入一段文字,它會即時生成一個擬真的場景,你可以用鍵盤在裡面走動、轉鏡頭;這一代第一次能自己生成聲音,包括風吹過樹梢和海浪聲,也有背景音樂,場景裡的角色也能即時跟你對話,並對你的動作和場景裡發生的事做出反應。

Genie 4 官方發表頁的主視覺,畫面由模型生成
Genie 4 官方發表頁的主視覺,畫面由模型生成|圖片來源:Google DeepMind

如果你用過 Sora 或 Veo 這類影片生成工具,可以這樣理解差別:影片生成是一次產出一段固定的影片,看完就結束;世界模型是你每按一下方向鍵,它就即時算出下一刻的畫面,像在玩一個沒有任何人寫過程式碼的遊戲。Genie 是 DeepMind 的世界模型系列,上一代 Genie 3 在 2025 年 8 月發表,能生成可探索的世界,但沒有聲音,角色也不會互動。

Genie 4 的官方發表文說,這是第一個能原生生成聲音的即時世界模型,畫面、音樂、環境音和對話是一起生成的。它也更依賴 Gemini 家族:Gemini Omni 負責讓場景的外觀和行為貼近真實世界,其他 Gemini 模型負責推理,讓世界前後連貫。走到一半,你可以打字要求「讓雨停下來」「鏡頭拉高」「加一個人進來」,Gemini 會把指令調整成符合當下場景的版本,再讓世界繼續往下跑。

當然,只要是即時生成;當時間越長、編輯次數越多、走得越遠,畫面細節和物件的一致性就越容易「漂移」,例如剛才桌上的杯子,轉一圈回來可能不見了;複雜的物理互動、即時音訊的準確度、場景中文字是否清楚可讀、長時間的一致性,都還在研究中。

目前 Genie 4 是研究預覽,只開放給受信任的測試者。接下來會先給 Google AI Ultra 訂閱者在 Project Genie 裡使用,以及 Gemini API、Google AI Studio 的早期合作夥伴,候補名單已經開放,但沒有公布日期。


Anthropic 收購一人生技公司 Mithril:一個人加 Claude,18 個月把新藥推到小鼠實驗

Anthropic 在 10 月 27 日宣布收購 Mithril Medicine,一家只有創辦人 Cody Tranbarger 一位全職員工的生技公司。Tranbarger 用 Claude 協調 11 間外部實驗室的合約、物流與實驗,不到 18 個月就把一種罕見型肌肉失養症的候選療法,從構想推進到小鼠實驗並看到正向結果。Anthropic 說,如果候選藥物持續有好表現,最快 2028 年底可以進入人體試驗。

Anthropic 公布藥物研發早期成果的發表主視覺
Anthropic 公布藥物研發早期成果的發表主視覺|圖片來源:Anthropic

先說 Mithril 為什麼特別。傳統新藥研發是一條很長的管線:找標的、設計分子或抗體、實驗室測試、動物實驗、向主管機關申請、三期人體試驗,從化學、生物到法規、營運,一家生技公司通常需要幾十個人。Tranbarger 只有一個人,他把實驗外包給 CRO(受託研究機構,生技業常用的外包實驗室),再讓 Claude 處理其餘的協調工作。他主攻的是 LAMA2 相關先天性肌肉失養症,一種基因突變造成、嬰幼兒時期就出現肌肉無力的罕見疾病。

而這些生技成果的限制,Anthropic 自己也提到這些研究「處於早期、多為臨床前」,多數還沒進入人體試驗,技術報告也沒有經過同儕審查。小鼠有效不代表人體有效,中間還隔著毒理試驗與三期臨床,畢竟 AI 再快,最難的始終是在人身上證明安全與有效。AI 目前壓縮的是文件、設計和協調這些前段工作,動物實驗和人體試驗的時間,還沒辦法用算力換。


Reddit 要關「大門」?Reddit 要你先登入才給看,全因 Google AI 摘要拿走流量

Reddit 執行長 Steve Huffman 在 10 月 29 日的第三季財報會議上宣布,Reddit 要轉向「以登入使用者為主」的體驗,第四季先在美國以外的部分市場測試。同一份財報揭露,Reddit 10 月從搜尋引擎導進來的流量,平均每週少了超過 100 萬次。

Reddit 的標誌。二十年來大部分內容不用登入就能看,這個前提正在改變
Reddit 的標誌。二十年來大部分內容不用登入就能看,這個前提正在改變|圖片來源:Reddit,Wikimedia Commons

很多人找真實使用心得的習慣是在 Google 搜尋後面加上「reddit」,點進去不用註冊就能看完整串討論。這個習慣撐起了 Reddit 很大一塊流量,也撐起它的廣告生意。問題出在搜尋頁本身:Google 的 AI 摘要直接在結果頁回答問題,使用者讀完摘要就走了,不再點進 Reddit。

Reddit 警告如果趨勢持續,下一季的日活躍用戶可能下降低雙位數百分比。第三季全球日活躍用戶 1.303 億,跟上一季持平;美國 5,070 萬,比第二季的 5,320 萬少,也比去年同期少 2%。

財報其他數字並不差。第三季營收 8.95 億美元,年增 53%;淨利 2.83 億美元。也就是說,Reddit 賺錢的能力還在變強,正在流失的是從搜尋進來的陌生訪客。

Reddit 的執行長 Huffman 針對 Reddit 目前遇到的狀況,給了幾個方針。第一是防止 AI 抓取資料,他寫道,絕大多數未經授權的存取,「基本上就是抓取和偷取 Reddit 的資料」,都發生在登出狀態。

第二是 AI 資料授權:Reddit 把內容授權給 AI 公司訓練模型,包含授權收入的非廣告營收這一季是 4,800 萬美元,年增 35%,門開得越大,授權就越難賣。

第三是廣告,登入的使用者透露更多興趣與行為,對廣告主更值錢,Reddit 營運長說超過 80% 的營收來自登入的 app 使用者。

第四是個人化,前一天 Reddit 才宣布了「For You」動態。

他自己也說這不容易,「我的人生一直由開放網路定義,這對我來說是很大的改變」。Huffman 認為讓首頁在登出狀態下維持可見「有用而且重要」,登入後仍然可以保持匿名,Reddit 也在重做無痕模式,但登入與登出的界線畫在哪裡,要看測試數據。測試先在美國以外的部分市場進行,名單沒有公布,台灣在不在裡面也不知道,全球推行沒有時程。不少人擔心 Reddit 會變成另一個要登入才能看的 Pinterest。


Alexandr Wang 在 YC 說:智慧很快就不稀缺了,稀缺的是願景和野心

Meta 首席 AI 長 Alexandr Wang 在 YC Startup School 2026 上,和 Y Combinator 執行長 Garry Tan 對談了約半小時,標題是〈This is a Once-in-a-Civilization Opportunity〉。YC 在 X 上節錄的是這一句:「稀缺的資源不會是智慧或行動力,我真的認為會是願景和野心。」

YC Startup School 2026 的對談影片封面
YC Startup School 2026 的對談影片封面|圖片來源:Y Combinator

如果你不熟 Wang:他在新墨西哥州的 Los Alamos 長大,從小參加數學和資訊競賽,高中畢業後先到問答網站 Quora 工作,18 歲進 MIT,19 歲休學創辦 AI 資料標註公司 Scale AI,2025 年轉任 Meta,領導 Meta 的超級智慧實驗室。YC 是矽谷知名的新創加速器,Startup School 是它每年辦給學生與早期創業者的大會,Scale AI 當年也是 YC 出身。

當 Wang 談到 Meta 時,直接說 Llama 4 不在 Meta 需要的軌道上,所以實驗室「從零重建」,九個月內推出 Muse Spark 1,兩個月後再推出 Muse Image 和 Muse Spark 1.1;他押的是人才密度,「人才密度會自然地複利成長」。他也主張模型一定要便宜,「我們不相信模型貴到需要配給的世界」,並稱 Muse Spark 比 Anthropic 的 Opus 便宜約 8 倍。

而對創業者來說,Wang 專訪的後半段非常 Insightful。他認為現在是創業最好的時機,瓶頸已經從模型進步,移到世界怎麼把現有的 AI 用起來,就算模型停止進步,經濟也還有幾十年的變化可做;有了 AI 代理,新創就像一個「被強化過的機甲哥利亞」,可以正面對上大公司。他說最大的機會是「代理回饋迴圈」:把指標設對,讓一群代理持續燒 token 推動成果,「一群代理很容易就能勝過一百人的工程團隊」,而做法其實就是 markdown 檔、cron 排程和 skills,「沒什麼魔法」。他也提醒,抽象層會從寫程式一路往上移到指揮代理大軍,但不能只靠會講話,仍然需要系統化、嚴謹的思考。

最後 Garry Tan 問他,會給 18 歲的自己什麼建議。他說兩件事:建立自己對未來的「內在羅盤」,在雜訊裡守住它;找出世界上「曲線最陡、又能持續最久」的指數趨勢,過去是摩爾定律,現在是 AI,而曲線剛開始的時候,往往看起來很無聊。


喜歡這期內容嗎?有哪一則讓你特別有感?
歡迎回信或是 Instagram 告訴我們,我們會偷偷讀大家的回覆的!

AI 郵報 Instagram

我們下週見
— AI 郵報編輯團隊