一個「2.30 倍」先被印在摘要裡：TasteVal 的效率數字，是一頁需要對照著讀的介面

2026 年 10 月 25 日，APPI News 刊出張饒輝對 TasteVal 評測的長文整理。事件本身發生在同年 10 月：P-Zero Research 公布 TasteVal，測試模型在固定 AI 研發題目上設計實驗並解讀結果的能力，並報告 Opus 5.5 的實驗計算效率達到專家基準的 2.30 倍。這個數字隨後被 Anthropic 共同創辦人 Jack Clark 引用，他表示現在認為 full RSI（完整遞迴自我改進）在 2027 年變得可能的機率，比先前看法更高。一個帶小數點的倍率，就這樣從論文表格走進了產業敘事。

先從這頁介面的排版邏輯看起。TasteVal 的設計其實相當克制：題目由人指定，受評模型只擔任 Researcher 角色，提出實驗並解讀結果；實作與執行交給一個固定的程式代理。這個分工是有意的，它把「研究判斷」和「寫程式」拆開，讓分數盡量只反映前者。八項開放式任務涵蓋預訓練資料、微調、偏好建模與對抗提示穩健性，題目不公開，每輪測試上限 40 H100 GPU 小時或 120 小時。

題目不公開是雙面刃。它降低了模型事先接觸測試題目的風險，讓不同模型能在相同題目與資源上比較；但外部團隨之失去自行重跑完整測試的可能。讀者拿到的是研究團隊在這組任務上建立的內部基準，能不能換一批題目重現同樣的差距，是未知的。這也是所有封閉題庫評測共同的老問題，跟過去各種不公開 benchmark 的爭議是同一個脈絡。

再看 2.30 這個數字被排出來的方式。它背後是 24 位專家、每項任務至少兩人、以各題最佳嘗試作為基準；95% 信賴區間是 1.15 至 4.37 倍。換句話說，同一份資料支持的下限只是「略高於持平」。論文裡另一組曲線更值得對照著讀：自 2025 年 12 月起，前沿模型的實驗計算效率約每 3 個月倍增，但最終正規化表現約每 14.6 個月才倍增。前者談的是達到相同分數需要多少計算量，後者談的是最終分數本身。兩條曲線放在同一篇文章裡，讀起來像同一件事的快慢版，實際上衡量的是不同維度。

這正是效率指標作為介面的微妙之處。一個工具若用較少計算資源找到可行方案，採購端看到的是省錢；但方案有沒有達到品質門檻、能不能重現、驗證成本是否抵銷省下的時間，這些欄位在單一倍率數字裡都不存在。來源文中也提醒，若評分只看短期可量化結果，研究者可能把資源集中到容易得分的子問題，忽略需要更久才能確認的方向。

至於 Jack Clark 提到的 full RSI，這裡的落差最需要被畫出來。TasteVal 把研究目標先交給模型，測的是「拿到題目之後怎麼做實驗」；它沒有測模型能否發現值得研究的問題，也沒有測一輪研究成果能否持續提升下一代模型。選方向、提假設、解讀證據、再把成果轉成下一輪能力，這條鏈條上的後段環節，在這份評測裡是空白。這種「能力被拆段呈現、敘事卻整段引用」的落差，與我們先前觀察過的皮查伊 RSI 談話的預期管理是同一種閱讀風險：介面上寫的是局部，讀的人常讀成全部。

同樣的判讀原則也適用於採購與導入場景。固定的題目格式、固定的資源上限、偏向快速可驗證的任務類型，這些設定讓分數容易比較，但也讓分數容易在某些任務上被反覆優化。研究團隊自己提醒，這可能高估研究品味的進步速度，而有限的模型測試又可能低估幅度。一個指標同時有高估與低估的可能來源，這在評測文件裡是誠實的寫法，在傳播版本裡通常第一個被刪掉。

TasteVal 值得肯定的地方，是把「AI 能不能做研究」這個大問題拆成了一段可測量的切片，並把置信區間、專家基準的局限都寫進了論文。它做到的是把研究品味中的實驗環節變成一個可比較的數字。至於那個數字距離「模型自主改良研究流程、訓練出更強後繼系統」還有多遠，答案就在題目由誰來選這一件事上：TasteVal 的題目是人給的，而自我改進的第一步，恰恰是沒有人給題目的那一步。讀這份評測時，把 2.30 倍放回它的區間與限定條件裡，比把它放進下一年的預測，更能看出這頁介面真正量到了什麼。