Strata：把 1250 億參數的 Qwen3.8-Flash-Next 跑在遊戲顯卡上
· #Strata #Qwen #LLM #本地推理 #MoE #開源
最近本地 AI 社群很熱的一個名字是 Strata。它不是一個新模型，而是一個推理引擎——而且專為單一模型 Qwen3.8-Flash-Next 量身打造，目標是讓這顆巨大的模型跑在你的家用電腦上。這篇整理它的核心資訊。
先認識 Qwen3.8-Flash-Next
Strata 跑的那顆模型是 Qwen3.8-Flash-Next，Qwen 團隊（阿里巴巴）2026-08-26 推出：
- 1250 億總參數（另有 510 億 n-gram 嵌入表，不佔加速器）
- 稀疏 MoE（取樣式專家模型），每 token 只需啟用 60 億參數（512 個專家/層、每層只啟 10 個）
- 混合架構：3 層 Gated DeltaNet ＋ 1 層 Qwen 稀疏注意力交替
- 官方定位是 Qwen4 架構的「預覽版」（自稱 under-trained preview），讓社群先體驗新架構
- 訓練成本約 Qwen3.7-Plus 的 1/9，卻在 coding 與辦公任務表現更好
Strata 是什麼？
Strata 是開源（MIT）、專為 Qwen3.8-Flash-Next 打造的本地推理引擎（GitHub Niko1221/Strata）。它的使命只有一句話：讓這顆原本要在伺服器上跑的模型，在一張普通遊戲顯卡（12GB）＋64GB 記憶體的家用電腦上跑起來，還提供 OpenAI／Anthropic 相容的本機 API。
原理怎麼做到？（白話版）
傳統跑超大模型靠「把整層神經網搬到 CPU 算」的層洩漏；Strata 換了四招：
- 動態專家快取：MoE 模型每 token 只用到少數「專家」。Strata 把最常用的專家留在 GPU，並邊用邊學哪些熱門——命中率可達 ~72%（固定快取只有 50%）。
- 專家分治：其餘專家全放系統 RAM，由 CPU 即時算 GPU 沒負責的部分；GPU 用拷貝引擎透過 PCIe 邊跑邊拉資料，得到雙引擎並行。
- 超大表放 SSD：模型的 n-gram 查詢表（約 29GB）放 SSD，每 token 只讀幾行。
- 自我推測解碼：用模型內建的多 token 預測層一次「猜」多個 token，再讓完整模型一次驗證整批（speculative decoding），實測加速 1.6–1.8×。
關鍵：輸出是精確的——與逐 token 解碼完全一致，不是近似。搭配 ISTA 實驗室的 GSQ-RCO 量化（主要用 2-bit Q2_0）。
解決什麼問題？
把「資料中心等級」的模型搬到平民硬體。2-bit 最小檔案就要 66GB，是 12GB 顯卡的 5.5 倍——傳統上 llama.cpp 等引擎做不到。Strata 讓你在自家遊戲機就跑到：資料不用上雲、隱私留本機、成本只在現有電腦上。
硬體上限主要在 RAM：64GB 幾乎所有量化型號都塞得下（48GB 可跑 Q2_0／IQ2_XS）。
速度實測
作者基準（RTX 5070 12GB ＋ Ryzen 5 7600 ＋ 64GB DDR5）：
| 情境 | 速度 |
|---|---|
| 4K 上下文、Q2_0（2-bit） | 95 tokens/秒 |
| 128K 長文下筆 | ~76 tokens/秒 |
| 讀 32K 提示 | 約 1,300–2,650 tokens/秒 |
| 3-bit 量化（IQ3） | 較慢，約 45–95 |
社群回報：RTX 5090 約 120–150、RTX 4090 約 70–80、RTX 3090 約 60–66 tokens/秒。對比 llama.cpp 同一張卡約 2.1× 快（36 → 76 t/s）；真人 agent 實測含工具呼叫約 48–67 t/s。
和其他閉源比較？
- 跟閉源旗艦（GPT・Gemini・Claude 最新版）比能力：未達。Flash-Next 是「預覽、未完全訓練」的模型（Intelligence Index 56，同級第 5）；但它是開源、可本地跑、免費不綁雲。
- 跟「在自己的機器跑 AI」比：Strata 能在一張幾百美金的顯卡上跑出本機最快的頂尖速度——不用買雲端 API 額度就有接近體驗，且完全隱私。
兩句提醒
- 量化有落差：社群普遍用 3-bit（IQ3），官方承認跟未量化有品質差距——這是不花大錢的代價。
- 社群有爭議：GitHub 短時間爆衝、部分程式碼是否靠 AI agent 產出尚未證實；但引擎能動、速度是真的。
本文整理自 Strata 論文《Running a 125-Billion-Parameter Model on a Normal PC》、GitHub Niko1221/Strata、Qwen 官方 repo 與社群實測。