Problem

目前的端到端即時影音互動模型在維持低延遲時，往往受限於較低的影像解析度。這導致中景鏡頭中的人物姿態、眼神、手勢及周圍環境細節不夠清晰，嚴重影響了即時對話的沉浸感與視覺資訊的準確表達。

Method

研究團隊採用「思考者-執行者」（Thinker-Performer）分離架構。思考者維持單 GPU 路徑處理感知與狀態快取；執行者則改採多 GPU 的 Ulysses 式上下文並行群組，專責處理高運算量的影像潛空間生成。音訊與影像序列採分開處理，僅傳輸必要的 K/V 條件以極小化內部通訊延遲。

Results

模型成功將串流解析度從 192x336 提升至 640x368，在 25 FPS 下仍維持約 200 毫秒的模型端延遲。若計入網路通訊預算，總延遲僅約 550 毫秒。新版本能清晰呈現中景角色的肢體動作與場景細節，且維持極高的互動流暢度。

Significance

此項進展證明了透過最佳化的硬體並行策略，能在不犧牲互動即時性的前提下突破生成解析度瓶頸，為開發具備高視覺保真度的即時虛擬助理與數位人技術奠定了重要基礎。