兼具主權與效能：Soofi S 30B-A3B 開源模型以 Mamba 混合架構重塑德英雙語處理能力

本研究推出 Soofi S 30B-A3B，透過混合 Mamba 架構與 MoE 技術，在德英雙語及程式碼任務展現卓越效能，並完整開源訓練細節，為歐洲 AI 主權奠定透明且高效的基礎。

Problem

大型語言模型在處理長文本與高併發部署時，常面臨推論快取佔用過大及吞吐量不足的挑戰。此外，現有模型多缺乏透明度與對特定語言（如德語）的深度優化，歐洲亟需具備數位主權且高效、開源的基礎模型。

開發 Soofi S 30B-A3B 模型，採用混合 Mamba Transformer 架構結合專家混合（MoE）技術。該模型總參數 30B，每標記僅活化 3B 參數，並在德國工業 AI 雲端基礎設施上，以包含加權德語資料的 27 兆個標記（tokens）進行端到端預訓練。

Soofi S 在德英雙語基準測試中媲美 14B 至 27B 的稠密模型，並在 17 個開源基礎模型中取得最佳的程式碼效能。其架構使推論快取在 context 增加時保持近乎恆定，大幅提升長文本部署的吞吐量，效能優於 Olmo 3 與 Apertus 等知名開源模型。

本研究實踐了 AI 主權，不僅效能領先，更透過高度許可的條款釋出模型權重、中間查核點與詳盡的資料核算。這為建立透明、高效且可商業應用的歐洲開源模型生態系提供了一個關鍵的參考基準。