OmniInteract：打破離線推理侷限，為實時全模態助手打造首個音視訊流式互動評測基準

本研究推出 OmniInteract，首個針對全模態大型語言模型設計的流式評測基準。透過模擬真實音視訊流，要求模型在不預知未來內容的情況下，實現主動感測、即時決策與回饋。

Problem

目前的大型模型評測多聚焦於離線影像理解或文字提示問答，忽視了真實世界中模型需處理連續、不可預知的音視訊流，且無法存取未來資訊的即時互動挑戰。這種離線與在線推理間的落差，限制了全模態人工智慧助手的發展與應用。

研發 OmniInteract 基準，包含 250 段影片與 1,430 個回應槽位，涵蓋主動提示、巢狀任務及連續導引。模型必須在串流進行時自動偵測觸發點並即時回應。評測指標包含交互感知質量與時效性 F1 值（IA-QTF1）以及針對中斷處理與上下文連續性的診斷工具。

實驗顯示現有模型在流式互動中表現疲軟，最佳 IA-QTF1 分數僅 0.368，在連續任務導引中更降至 0.052。研究進一步發現，模型具備的離線推理能力並不能保證其在全雙工互動場景下擁有同樣優異的表現。

本研究填補了全模態助手在實時互動場景下的評測空白，揭示了離線理解與動態流式互動間的巨大鴻溝。這為未來開發具備人類感官層級反應速度、能處理複雜動態資訊的 AI 助手提供了關鍵的技術路徑與衡量標準。