Ornith-1.5-35B vs Qwen3.8-27B：稀疏 MoE 與密集模型的一場在地對決
· #Ornith #Qwen #MoE #LLM #模型比較 #心得筆記
在本地 AI 圈同時冒出兩顆熱門模型：Qwen3.8-27B 與 Ornith-1.5-35B-A3B。兩者都是「家用機跑得動」的等級，卻走完全相反的路線。這篇整理我的比較心得。
一分鐘搞懂兩者
| Qwen3.8-27B | Ornith-1.5-35B-A3B | |
|---|---|---|
| 出品 | Qwen（阿里巴巴） | Ornith AI（1.5 世代，MIT） |
| 架構 | 密集（dense） | 稀疏 MoE |
| 總參數 | 27.3B | 約 35B |
| 每 token 啟用 | 全部 27.3B | 約 3B（8/256 routed + 1 shared） |
| 上下文 | 196K | 262K（可擴 1M） |
| 輸入 | 文字 | 文字＋圖片 |
| 定位 | Qwen3.5 的 27B 密集版 | 為 agentic coding 特化的推理模型 |
關鍵差異就一個字：兩者「每產生一個 token」觸及的參數量差了約一個數量級。 這決定了它們在有限的本地硬體上「快不快」—近乎先天決定。
架構：為什麼 MoE 比較快
- Qwen3.8-27B 是密集模型：每產出一個 token，全部 27.3B 參數都要跑一遍 FLOP。
- Ornith 是稀疏 MoE：35B 總參數，但每 token 只透過路由器叫醒少數「專家」（約 3B active）。多數參數躺在那，不用全算。
所以 Ornith 雖然「總模型比較大、佔的記憶體比較多」，但打分（decode）時每 token 的運算量小得多，實際跑起來反而更快。這是「用記憶體換算力」的經典取捨。
官方基準（Ornith 1.5 model card）
| 基準 | Ornith-1.5-35B | Qwen3.6-35B-A3B | Qwen3.5-397B |
|---|---|---|---|
| Terminal-Bench 2.1 | 67.8 | 52.5 | 53.5 |
| SWE-bench Verified | 79 | 73.4 | 76.4 |
| SWE-bench Pro | 59.6 | 49.5 | 51.6 |
| GPQA Diamond | 89.2 | 86 | 88.4 |
官方宣稱 35B 在很多「agentic coding」基準上贏過比自己大 11 倍的 Qwen3.5-397B——靠的不是規模，而是它的「自我改進訓練法」（模型自己發明任務、自己搭 harness、自己的嘗試再當下一輪訓練資料）。
獨立硬體實測：一場正面對決
有一支評測（qw env 27B vs Ornith-1.5）在同一台 3×3060（36GB）的機器上、用同一套工具呼叫框架直接對打（Qwen 用 Q5_K_M、Ornith 用 Q6_K）：
| 項目 | Qwen3.8-27B | Ornith-1.5-35B-A3B |
|---|---|---|
| 速度 | ~23–25 tokens/秒 | ~46–49 tokens/秒（全駐留可達 ~62） |
| VRAM 用量 | 21 GB | 約 30 GB（多 ~9GB） |
| Agentic 電池 | 部分通過 | 9/9，且通過 Qwen 失敗的「提示注入防禦」 |
| 衛生／格式套件 | — | 平手 |
結論很乾脆：品質不相上下，但 Ornith 約 2× 快、還更抗提示注入，代價是多吃約 9GB VRAM。
但是——官方數據要打折（重要心得）
獨立實測也不是一面倒。有人（HN 評論員）自行跑過，Ornith-1.5-35B 反而在 Terminal-Bench 2.1、SWE-bench Pro、DeepSWE 落後 Qwen3.8-27B 有一些差距。
心得：模型廠商的 benchmark 數字看看就好，同樣硬體上的第三方對打與你自己的任務才準。 這跟「拿型錄規格買 CPU」一樣——要看實測與你的 workload。
我的心得總結
- 選型先看架構：想要「每 token 算得少→本地快」選稀疏 MoE（Ornith）；想「全部知識都在線、不靠路由」選密集（Qwen 是便宜可靠的 baseline）。
- 快不一定要更小：Ornith 更快、更抗注入，但記憶體負擔更多（總模型較大）——記憶體充裕才划算。
- agentic 用途特別值得 MoE：對工具呼叫、終端機任務、多輪 agent，Ornith 這類「為 agentic 特化」的稀疏模型優勢明顯；而且它抗「提示注入」較強，對「agent 執行用戶指令」的場景很重要。
- 對硬體有限的你：Qwen3.8-27B 是「省記憶體、可預期」的選擇；想要速度快、安全高，又有記憶體空間→ Ornith-1.5-35B-A3B。
- 最終還是自己跑：官方與第三方說法不一，建議兩個都下載、拿你自己的任務各跑一輪再決定。
本文為研究心得，資料來源：Ornith 官網/model card（HF ornith-ai/Ornith-1.5-35B-A3B）、獨立硬體實測（peasant-smith 27B vs Ornith-1.5）、外媒評測。