「何時該開口」先被排成了分數：StreamVibe 把影片助理的沉默，設計成一頁可核對的介面

2026 年 11 月 1 日，APPI News 刊出一篇對 StreamVibe 的拆解。這是 Google 研究團隊提出的影片助理研究基準，搭配模型與互動記憶架構，尚未成為可直接使用的產品。它問的問題很具體：助理看著使用者做炒蛋、換玩具車的輪子、清潔水槽，畫面一直在動，需求也一直在改，它什麼時候該說話，什麼時候該閉嘴。

先從一個小細節看起。研究頁上有一段「邊做炒蛋邊提問」的動態任務，使用者的操作與問題交錯出現，助理的每次介入時點與回覆內容都被列出來，旁邊並排放著多個基線模型的回覆紀錄。這種排版本身就有設計意圖：它把「介入」從一次抽象的互動，拆成可以逐格對照的時間軸證據。讀者看見的不只是誰回答得好，還有誰說了幾次話、在哪些時刻說。

三種需求，三種判斷難度

StreamVibe 把需求分成三類。明示意圖最單純，研究頁用「水開始沸騰時通知我」當例子，觸發條件寫得清楚，等於一個可程式化的警示器。隱含意圖只有目標沒有觸發點，例如「陪我做果醬麵包捲」，助理得自己觀察進度，判斷使用者停下來是在想事情，還是卡住了。畫面的停頓本身並不是求助訊號，這是隱意圖最難的地方。

動態意圖再往上一層。專案頁的紙藝示例裡，使用者先要求每完成一個階段就回顧進度，中途改口成「只在犯錯時提醒」。如果系統仍照最初指令回報，就會在需求已經改變之後繼續插話。對互動產品團隊來說，這裡真正該測的項目很明確：模型有沒有聽見修正是一回事，舊的提示指令是否立即失效是另一回事，後者常常被忽略。

這種把需求拆成可枚舉類別的做法，跟 OpenAI 把 Model Spec 排成五個價值欄位的邏輯相通：先把一團模糊的行為期待，排成團隊可以逐項檢查的欄位，行為規範才變得可測。

4,100 個樣本，與兩種不能混讀的分數

研究團隊報告的 StreamVibe-Bench 有 4,100 個評估樣本、20,546 個協助提示點、183.4 小時影片。樣本分為 600 個明示、2,000 個隱含、1,500 個動態意圖。每個時間點，模型只能使用當下已出現的影像、使用者指令和先前互動，選擇沉默或回應。這個約束是基準設計裡最關鍵的一筆：它防止模型偷看未來畫面，逼判斷發生在真實時間裡。

評估分兩種。Pointwise 單看個別時刻的判斷，像單題測驗；Trajectory 讓模型從頭到尾看影片，並把自己先先前回答納入後續情境，檢查模型會不會被自己的前次回覆帶偏。來源特別提醒，兩種結果不能混成一個分數解讀。這個提醒本身就值得留在心上：很多產品展示只給一個「表現提升」的數字，卻沒說那是哪一種測量。

時機用 Precision、Recall、F1 和誤報率檢視，內容用回答分數和 Content F1 評估。候選提示點先由 Gemini-3.8-Flash 提出時間窗與參考回答，再經 4 位審查者一致同意才保留。人工把關讓基準較可信，但「四人都認可」仍不等於所有使用者偏好同一個提醒時機，這個侷限來源也說得誠實。

回覆次數不是排行榜

專案頁展示了幾個可追溯的片段。「微波爐杯裝 shakshuka」的隱含指引案例中，StreamVibe-VL 回覆一次，基線模型的回覆數從 0 到 16 不等；「替玩具車更換後輪」案例，StreamVibe-VL 一次，基線 0 到 6 次；清潔水槽案例則是一次對 0 到 2 次。

這些數字最容易被人讀成排行榜，但來源給了更謹慎的讀法：介入頻率的差距可以看見，回覆是否正確、是否合用戶心意，卻不能單憑次數判斷。換輪胎或加熱食物的情境裡，漏掉安全提醒的代價可能遠高於多講一句；一般介面操作則可能更怕打斷。比較之前，得先確認任務本身、可接受的協助窗口、以及錯誤的代價，這三件事定了，回覆次數才有意義。

論文摘要指出，StreamVibe-VL 相較其他基線，在回應時機與回答品質上提升 10.7%；StreamVibe-Harness 讓持續互動中的主動表現增加 12.3%。兩個數字對應不同層面，一個是模型比較，一個是加入狀態追蹤後的互動結果，不能相加，也不代表上線後使用者會感受到等比例的改善。研究目前以 arXiv 預印本公開，頁面未列出同儕審查刊物資訊。

把介入時點做成看得見的證據

StreamVibe 對設計者最有價值的部分，或許不是那兩個百分比，而是它的展示方式：每個案例都附原始片段、觸發時點與完整回覆紀錄。這與 IBM Granite Speech 5.0 把語音工作排成逐項核對的分工表是同一種設計姿態，讓「評估」本身成為可以被閱讀、被質疑的介面，而非一個封在論文裡的總分。

主動式助理要進入真實工作流程，涉及的不只是模型能力，還有權限、整合與信任的設計選擇。StreamVibe 沒有解決這些，它做的是更前面的一步：把「何時該開口」從一個感覺問題，變成一組可測量、可對照、可爭辯的條件。至於每個使用者想被提醒幾次、在哪個當下被打斷可以接受，那仍然是產品團隊要為自己的場景重新設計的部分。