分數先被排好了:LLM Brain Rot 的退化數據,是一頁需要對照著讀的介面
從德州農工大學團隊的 LLM Brain Rot 研究數據看起,觀察一組基準分數的下降如何被排成一頁關於資料品質的介面。
科技 分析 約 4 分鐘閱讀
先從兩組數字看起。2026 年 10 月 25 日 APPI News 刊出的分析,引用了德州農工大學等校團隊發表於 COLM 2026 的試點研究:在 Llama 3 8B Instruct 上,當訓練資料中高互動短文的比例由 0% 提高到 100%,ARC 挑戰題的思維鏈測試從 72.1% 降至 57.2%,RULER 長文本擷取題從 83.7% 降至 52.3%。研究者把這種現象稱為 LLM Brain Rot(大型語言模型腦腐),一個借自人類經驗的比喻名稱。
這類報導最容易被讀成「AI 讀了太多廢文就會變笨」,但研究的實際畫面比標題複雜。值得看的是,這些數字是怎麼被安排出來的。
數據是怎麼被排出來的
研究採用持續預訓練,用新資料繼續更新既有模型,對象是四個開放權重模型:Llama 3 8B Instruct、Qwen2.5 7B Instruct、Qwen2.5 0.5B Instruct 與 Qwen3 4B Thinking 2507。資料集約一百萬則公開 Twitter/X 貼文。
「低品質」在研究裡有兩條不同的操作路徑。M1 以互動度與長度篩選:互動總數超過 500 且少於 30 tokens 的貼文歸入低品質組,互動數為零且長度超過 100 tokens 的貼文作為對照,兩組訓練 token 數經過平衡。M1 完全不看貼文內容在談什麼,只看社會互動訊號與短文本特徵。M2 則由 GPT-4o mini 依語意分類,抓的是誇大宣稱、陰謀論、過量標籤、全大寫刺激字眼這類表面寫法;三名研究生依同一準則抽樣標記,與模型分類有 76% 一致。
這裡的設計細節值得停下來看。互動度是外在指標,語意分類看的是內容特徵,兩者捕捉的面向不同。來源明確指出,兩種判準不能混成「流量越高,內容越差」:熱門短文也可能精準有用,低互動同樣不代表高品質。M1 對部分測試影響較大,並不代表互動數可以單獨當成普遍適用的品質分數。
下降的分數能說明什麼
研究測了推理、長文本與部分安全基準。高互動度資料組在部分安全測試的風險分數上升,但各模型與任務的幅度不一。研究者檢視 ARC 的錯誤,把常見錯誤歸納為 thought-skipping,模型跳過推理步驟、不列計畫。但輸出少寫步驟,並不等於已經量到模型內部「不會推理」。分數反映的是指定題目與評分方式,這一點來源反覆強調。
作者自己也在研究裡劃了界線:推理基準與長文本理解的變化,應放在研究所測試的資料比例、模型和題目中解讀。模型池有限、資料來源單一、基準有限,不能據此推斷所有訓練資料或封閉商用模型也有相同變化。LLM Brain Rot 這個名稱是比喻,模型沒有生物性的腦部損傷;人格問卷式量表也只反映回答傾向,與人類人格無關。
這種「數據加但書」的排版,其實和 TasteVal 效率數字需要對照著讀 是同一種閱讀課題:一份研究摘要裡最顯眼的倍數或百分比,往往承載了最多的條件限制。
資料治理的介面課題
如果把這份研究當成資料治理的參考,真正可移轉的東西並不是「篩掉熱門短文」這個結論,而是它展示的篩選機制設計。M1 用可規模化的外部訊號,成本低但有誤判;M2 用模型分類加人工抽檢,標準較貼近語意但由研究者設定。76% 的一致率是分類品質的檢查點,也是這套機制的誠實標註。
同樣的課題也出現在模型端。訓練資料的範圍與比例如何被定義,本質上是一種介面設計:誰設定判準、對照組怎麼排、token 數如何平衡,這些決定了最後那頁數據能被讀到什麼。這與我們先前觀察過的 上下文長度是一套被設計出來的介面 有相似的結構,標稱數字與實際可用範圍之間,永遠存在一層需要被標註的設計。
收束來說,這份研究的價值不在於證實了模型會「腦腐」,而在於它把「低品質資料」從一句口號拆成了兩套可檢驗的操作定義,並且附上了分數下降的邊界條件。讀這頁數據的方式,應該像讀一份標好刻度的介面:72.1% 到 57.2% 是真的,但它只在那四個模型、那一百萬則貼文、那幾套基準題之內為真。把這條界線一起讀進去,數據才開始有意義。