隨著大型語言模型（LLM）的應用逐漸從實驗室走向大規模商用，推論效率與成本控制成為企業面臨的核心痛點。在現有的運作模式中，LLM 的推論過程被拆分為「預填充」（Prefill）與「解碼」（Decode）兩個特質截然不同的階段。然而，傳統架構習慣讓這兩個階段共享同一個 GPU，這也正是造成使用者在輸入長篇文字後，常感到生成速度變慢、系統反應遲鈍的根本原因。
具體而言，預填充階段需要一次處理整個輸入提示字（Prompt）以產生初始的 KV 快取，這屬於「運算密集型」任務；而解碼階段則是逐字產生結果，極度依賴記憶體頻寬，屬於「記憶體密集型」任務。當這兩者在同一顆 GPU 上爭奪資源時，長文本的預填充往往會像路障一樣，硬生生地卡住所有正在進行中的解碼任務，導致首字延遲（TTFT）與字間延遲（ITL）變得難以預測，甚至引發嚴重的排隊效應。
AWS 最近提出的「解構式預填充與解碼」（Disaggregated Prefill and Decode, DPD）方案，正是為了解決這類資源爭奪問題。透過在 Amazon SageMaker HyperPod 上實施 DPD，系統能將預填充與解碼任務分別指派給不同的 GPU 池，並利用 Elastic Fabric Adapter（EFA）與遠端直接記憶體存取（RDMA）技術，確保不同節點間的 KV 快取能以極低延遲高速傳輸。這種架構讓工程師可以針對不同階段，量身打造最合適的平行化策略，而不必再為了兼顧兩者而做出妥協。
這項發展對 AI 技術架構具有深遠影響。首先，它大幅提升了推論系統的穩定性與預測性。過去開發者為了緩解延遲，通常會使用「分塊預填充」技術，但這往往需要精細的手動調優且效果有限。DPD 架構則從硬體配置層級隔離了干擾，讓長文本處理不再是其他併發請求的夢魘。其次，對於追求極致效能的企業來說，結合 vLLM 的分頁注意力機制（PagedAttention）與 HyperPod 的多節點編排能力，意味著能在更優化的硬體成本下，支撐更高併發量的商業應用。
這不只是單純的硬體規格堆疊，更是一場關於 LLM 推論效率的架構演進。隨著長文本應用（如法律文件分析、長篇程式碼生成）需求激增，這種解構式架構將成為企業級 AI 基礎設施的重要標配，確保 AI 服務在處理複雜任務時，依然能保有流暢且穩定的回應品質。