BioBasicsBench 發表，100 個濕實驗任務如何測出 AI 的科學判斷落差？
OpenAI 在 11 月 6 日公布 BioBasicsBench，使用 100 個來自真實實驗的任務，測試模型能否判讀原始資料、找錯誤並承認證據不足。 我會把這份評測視為尋找實驗助理弱點的工具。需要讀原始資料的研究團隊能從中找到測試方向，分數則不能取代對照組與專家判讀。
一張培養皿照片少看幾個字，就可能讓研究者挑錯下一輪要培養的樣本。AI 即使認得影像，也得把照片與實驗條件接起來。
OpenAI 在 11 月 6 日公布 BioBasicsBench，使用 100 個來自真實實驗的任務，測試模型能否判讀原始資料、找錯誤並承認證據不足。
這類任務和看整理過的論文圖表不同，因為原始照片可能模糊，標籤也可能和流程衝突。答出熟悉的生物學知識，還不夠完成工作。
在相同 xhigh 推理設定下，GPT-6 Astra 取得可得分數的平均 66.7%，GPT-5.6 Sol 為 43.8%。這顯示分析能力進步，卻也留下可觀的判斷落差。
我會把這份評測視為尋找實驗助理弱點的工具。需要讀原始資料的研究團隊能從中找到測試方向，分數則不能取代對照組與專家判讀。
要理解這個差距，得先看評測保留了哪些實驗現場資訊，以及答案究竟如何計分。
BioBasicsBench 為什麼從原始濕實驗資料出題？
評測把模型放回資料尚未整理好的階段，因為這裡的一次誤讀會改變後續實驗。濕實驗指實際操作細胞、蛋白質或其他生物樣本的工作，和只在電腦裡分析不同。
官方公告說明，這套測試由 OpenAI 與酵素設計公司 Ligo 合作建立。科學家拿自己實驗產生的資料出題，因此問題保留失敗、模糊與互相矛盾的線索。
論文圖片通常已經過挑選，讀者容易知道作者想表達什麼。原始培養皿、儀器畫面與手寫筆記則可能沒有這種提示，模型必須自己確認資料能回答哪個問題。
一道題目可以同時需要看圖與讀流程
題目涵蓋蛋白質方法、影像與細胞分析、定量與測定、核酸方法、分子選殖等五個領域。有些只需讀取凝膠裡的訊號，有些則要把不同檔案與操作紀錄一起解釋。
凝膠可以想成把不同大小分子分開的篩網，照片上的條帶反映分子所在位置。但條帶的意思仍取決於樣本、參考標記與實驗設計，所以光認出亮線還不夠。
原始輸入中，31 題含凝膠或轉漬影像，27 題含流程、筆記或規格，20 題含表格與儀器匯出資料。這些類別可重疊，因此不能相加當成另一個題目總數。
還有顯微影像、定序檔案與操作影片。這種組合考驗的是把證據接起來的能力，例如看懂標籤後，是否會回頭修正剛才對照片的判斷。
題目的可信度來自分開審查
每題都配有專家寫的評分規準，並經過非原作者的 Ligo 科學家、外部具有博士程度的濕實驗科學家與最終內部審查。不同人檢查題目，可以減少只有出題者懂隱含條件的問題。
審查範圍包含問題、原始證據、評分規準、作者筆記與一份已評分的模型嘗試。因此測試關心的不只是標準答案，也包括這些答案能否被提供的材料支持。
原始資料保留下來，評分就必須區分看到什麼、如何推論，以及結論是否站得住腳。
66.7% 代表什麼，100 題如何變成 18,500 次結果？
這個百分比衡量的是評分規準中拿到多少分，因此不能讀成做對了同樣比例的完整實驗。一個答案可能結論正確、理由只對一部分，也可能正確辨認證據不足而取得分數。
模型要回傳結論、測量值或建議，必要時附上推理。評分再逐項看它是否滿足條件，讓「部分分析正確」不會和「整段判斷完整」被壓成同一個結果。
官方評估七個 OpenAI 模型，共 37 種模型與推理強度組合。每個組合都做全部 100 題，每題嘗試五次，因此一共產生 18,500 份結果。
五次嘗試不是從中挑出最好的一次。報告呈現平均可得分數，讓單次碰巧答對或答錯的影響被攤開，也比較接近模型反覆面對同類工作時的表現。
推理強度相同，輸出長度仍可能不同
xhigh 是模型投入推理的強度設定，同一名稱不代表每個模型產生相同長度的答案。在這個設定下，Astra 每題平均輸出 4,704 個 token，Sol 為 9,099 個。
token 是模型處理文字的片段，可能是一個字、詞的一部分或標點。Astra 的輸出較少，卻取得較高平均分，表示增加文字量本身不能替代較好的證據判讀。
但這張表沒有提供相同條件下的完整耗時與帳單，所以不能直接換算成省下一半費用。模型定價、工具呼叫與讀取檔案的成本，都可能影響實際工作支出。
分數旁的區間也需要一起讀
Astra 的 95% 信賴區間是 60.3% 至 73.1%，Sol 是 37.6% 至 50.0%。這裡的區間用來表達題目抽樣帶來的不確定性，並非每個單次答案都會落在區間內。
計算時以整道題目重抽樣，保留同題五次嘗試的關係。因為同一題的五次答案共享難度與資料，若把它們都當成完全獨立題目，容易讓結果看起來比實際更精確。
這份比較只涵蓋公告列出的 OpenAI 模型。它可以追蹤這些模型的進展，卻沒有足夠資料替所有公司的實驗助理排出名次。
平均分數呈現能力提升，具體案例才能說明提升發生在哪個判斷環節。
AI 如何察覺螢光、標籤與顯微影像裡的問題？
較強的影像能力有用，是因為模型開始把畫面中的細節連回實驗條件。官方展示的改善案例，重點都在辨認「這個畫面還可能怎麼解釋」。
一個細胞影像任務使用不同染劑，讓特定訊號變得可見。Sol 根據偵測死亡細胞染劑的亮度，直接判斷細胞死亡，但另一種染劑的光也可能進入同一偵測範圍。
Astra 察覺兩個通道在 525 至 540 奈米重疊，因此提出需要更好的對照來分開訊號。它的進步在於保留替代解釋，沒有把「看見亮光」直接等同於「確認死亡」。
原文也說明，這個共同窗口允許干擾，但干擾量尚未測量。因為不同通道各有自己的顯示亮度尺度，讀者也不能只看圖片明暗，就比較兩者的訊號強弱。
培養皿上的文字可以推翻表面結果
另一個任務要求判讀 DNA 選殖實驗。負對照是理論上不應出現目標結果的比較樣本，用來檢查實驗條件是否可靠。
Sol 看見負對照皿沒有菌落，便以此建立結論。Astra 卻注意到邊緣寫著「LB Kan50」，使用的抗生素和實驗中的 ampicillin 不同，因此拒絕把它當成可靠對照。
沒有菌落這件事本身沒有改變，改變的是它能證明什麼。如果比較樣本用了不同篩選條件，它的結果就無法直接支持原本想驗證的問題。
這也說明，實驗助理需要把文字辨識和推論接在一起。只把標籤抄對，卻沒有讓它影響答案，仍可能錯過最重要的線索。
影像順序也可能是拍攝方式
顯微影像中，細胞忽然變清楚又消失，不一定代表生物狀態快速改變。官方案例是一組沿不同深度拍攝的影像，稱為 z-stack，可理解為逐層掃描。
Sol 尋找細胞消失的生物學原因，Astra 則辨識出焦平面改變。把拍攝方法考慮進來後，原本看似需要新假說的現象，就有了較直接的技術解釋。
成功案例說明模型能找到關鍵線索，失敗案例則提醒我們線索未必會進入最後結論。
為什麼看對條帶，最後仍會挑錯菌落？
辨識局部畫面與做對完整科學判斷，是兩個仍可能分開的能力。Astra 在一個菌落檢查任務中，已分辨出兩種條帶群，卻套用熟悉的假設，把較大的產物當成成功結果。
這項檢查使用 PCR，也就是把指定 DNA 區段大量複製後，再比較產物。判讀時必須依對照確認哪一群代表新產物，不能只憑「較大應該比較成功」決定。
參考答案選出第 5、9、10 個樣本，Astra 則選了第 4、6、7、8 個。兩群看得出來，身份卻被顛倒，會讓後續工作拿錯質體繼續純化。
這類錯誤不一定能靠要求模型多看一次圖片修正。因為問題出在實驗意義的連結，重新辨認相同條帶，可能只是再次得到相同的錯誤結論。
看過反例，不代表最後會採納
另一張影像裡，細胞中的液泡有的較暗、有的較亮。液泡是細胞內的區隔空間，焦距不同會讓它和周圍區域的明暗關係反轉。
Astra 觀察過不同區域，也提到焦距會改變對比，最後仍偏重它認為對焦較好的暗色例子。於是，與偏好解釋相反的亮色液泡沒有被帶進結論。
這個案例把失誤位置指得很清楚。問題未必是模型完全沒看見資料，而是最後整理答案時，把不符合原先判斷的證據降到太低的權重。
計數誤差會直接傳到下游數值
菌落計數案例則出現相鄰菌落合併、可見菌落漏標與空白培養基被標成菌落。這張培養皿的淨結果，相對參考數量約高估 12%。
如果塗布量和稀釋條件固定，菌落數被高估，據此估算的 DNA 轉入效率也會等比例被抬高。這是該案例的誤差傳遞，不能拿來當模型所有計數工作的固定誤差率。
這些錯誤都會沿著工作流程放大，因此研究團隊要測的是整段推論如何影響下一步。
研究團隊可以如何使用這份評測？
最有價值的用法，是按自己工作中的資料類型與失誤成本，挑出模型需要補強的環節。如果工作仰賴顯微影像，就要看深度、染劑與儀器設定如何進入最後結論。
如果任務會決定下一批樣本，則應把選擇理由連回對照資料。因為條帶分群正確仍可能選錯樣本，單獨記錄影像辨識分數會漏掉真正影響流程的錯誤。
測試紀錄也需要保留模型版本、推理強度、原始輸入與規準。這樣後續版本分數上升時，才能知道改善來自對照檢查、量測能力，還是答案格式比較容易拿分。
如果團隊只留模型最後的一句建議，就難以分辨錯誤來自看圖、讀流程或忽略反例。把中間觀察和結論一起保存，可以讓下一輪訓練針對出錯環節，而不只教模型改成另一個答案。
同樣地，承認證據不足也應列入評分。因為資料沒有把兩種解釋分開時，提出補充對照比硬選一個答案更能保護後續研究方向。
這套測試評估的是分析與建議，並沒有觀察代理在真實實驗室完成整段操作。要接上設備或改變實驗安排，仍需要另一組能覆蓋實際動作與結果的證據。
延伸閱讀：Anthropic 分析二十萬筆科學工作對話，研究者如何使用 Claude？
延伸閱讀：OpenAI 推出 GPT-Rosalind：首款生命科學專用 AI，目標把新藥開發從 15 年壓縮到更短
評測讓能力變得可追蹤，也讓是否交付下一步實驗有了更明確的證據依據。
BioBasicsBench 常見問題 FAQ
BioBasicsBench 是什麼？
它是 OpenAI 與 Ligo 建立的日常濕實驗分析評測，用 100 個真實資料任務，檢查模型判讀、找錯與辨認證據不足的能力。
66.7% 是實驗成功率嗎？
它是評分規準中可得分數的平均比例。因為每題可能有多項條件，所以不能換算成相同比例的完整實驗成功。
這份測試比較了其他公司的模型嗎？
公告列出七個 OpenAI 模型，因此結果支持這組模型的比較，沒有提供跨公司完整排名。
輸出比較少代表推論一定比較便宜嗎？
輸出長度只是成本的一部分，還需要模型單價、工具使用量與工作耗時，才能比較自己的完整支出。
結論
BioBasicsBench 最有用的地方，是把「AI 能幫忙做科學」拆成可以觀察的判讀環節。進步來自看懂細節後重新檢查條件，失敗則顯示局部辨識仍可能和最後選擇脫節。
需要實驗助理的團隊，可以持續追蹤官方評測更新，先用自己的原始資料重做這些類型的比較，追蹤錯誤如何影響樣本與後續工作，再決定把哪些分析交給模型。
