台灣企業 LLM 選型入門：商用 API、開放權重與地端部署
· #LLM #AI #選型 #資料主權 #地端部署 #企業 #技術隨筆
本文聚焦台灣企業 LLM 選型的六個面向：繁體中文、資料主權、供應鏈政策、授權、成本、硬體部署。
到了 2026 年，企業選 LLM 已經不能只比較 GPT、Claude、Gemini 這幾家——Qwen 3.8、DeepSeek V4、GLM 5.3、NVIDIA Nemotron、Meta Muse Glimmer、Gemma 4 與 TAIDE，讓「開放權重、地端部署、多模態、AI Agent」都成了正式選項。台灣企業選型，建議同時看六個面向：繁體中文、資料主權、供應鏈政策、授權、成本、硬體部署。
一、台灣企業的特殊情境
- 繁體中文：台灣用的是繁體中文，但多數中文訓練資料是簡體。繁體字集用語、本地人名地名、法律術語、政治社會脈絡，都考驗模型的正體中文能力。
- 資料主權與法規：個人資料保護法限制個資國際傳輸；金融業受金管會委外與 AI 規範約束；公務機關適用資通安全管理法（資安責任分 A–E 五級）。用境外 API 時，輸入資料會離開企業邊界在境外處理，這是資料主權疑慮的來源。
- 地端部署：部分企業無法用外部 API，必須在自有環境跑模型——這時要確認的不只是權重能不能下載，還包括商用授權、模型大小、量化格式、推論框架、硬體容量、更新管道與弱點修補。
- 成本：美元計價的 API 費用在台幣匯率波動下有風險；大量文件處理的 per-token 計費可能爆預算。需先精算 Token 消耗並設預算控制。
二、主流商用 LLM（定價分層很重要）
關鍵觀念：真正影響成本的是同一家族裡選了哪個層級——旗艦與平價版輸出費率可差數倍。多數企業是「少量困難任務＋大量例行任務」，若全用旗艦，例行任務會吃掉預算。
- OpenAI GPT-5.6：Sol（旗艦）/ Terra（平衡）/ Luna（平價）。深度推理內建，生態系與第三方支援最完整。企業方案一般有「不以客戶資料訓練」條款＋DPA。主要疑慮是資料處理地點——直接 API 與 Azure 代管的地點、可上架區域都不同，要逐模型逐端點書面確認。
- Anthropic Claude：Fable 5（最頂）/ Opus 5（旗艦）/ Sonnet 5（主力）/ Haiku 4.5（平價）。繁體中文長文閱讀與文件摘要表現佳，Constitutional AI 讓它較保守（該答卻拒答要列為驗收指標）。長輸出應用中，輸出費率才是主要成本，估算要分開算輸入與輸出。
- Google Gemini：3.1 Pro 定位超長上下文＋多模態；Flash 適合平價高頻。提醒：超過 20 萬 Token 後費率會變高，長文件不見得一次塞進去最便宜；透過 Vertex AI 用通常有較多區域與治理選項。
（更詳細的逐模型定價請看原文與各廠商當期公告；表格刻意把變體拆開，因為真正的開銷差異在「選哪個層級」。）
三、開放權重／地端選項（台灣企業可納入評估）
2026 年 8 月可列入評估的開放權重模型，各有不同角色：
- TAIDE（國科會）12B：開放權重。正體中文、公文、台灣行政與在地用語的基線——它的價值不是拼世界知識，而是提供台灣語境基準。量化後可從 16GB 級單卡開始測。
- Gemma 4（Google，Apache2.0）：文字、影像、影片多模態，端側到工作站/80GB GPU 級。
- Qwen 3.8-27B（Apache2.0）：27B dense、原生視覺語言模型。中文、多模態、程式與 Agent 的綜合基線，工作站/伺服器級。
- DeepSeek V4（MIT）：284B MoE、程式與工具呼叫強。完整地端部署屬多 GPU 工程。
- Kimi K3（Moonshot）：2.8T MoE 超大、原生多模態，適合超長文件與長時程 Agent，資料中心級。
- Nemotron 3.5 Lightning（NVIDIA）：30B MoE／3B active，高吞吐 Agent 子任務，NVFP4 版本較利於地端。
- Meta Muse Glimmer 30B（Apache2.0）：本機多模態 Agent，官方量化以 24/32GB 裝置為目標。
- GPT-OSS（OpenAI，Apache2.0）：20b 可單卡測試、120b 需大容量 GPU，結構化輸出與推理基線。
- GLM 5.3（Zhipu）：以服務評測為主，權重分批釋出中。
⚠️ 來源國政策不能一句話概括：公務機關已有 DeepSeek AI 服務的限制；政府採購與特定產業可能有供應鏈要求；一般民間企業要依資料分類、客戶契約、跨境傳輸、模型來源與公司政策評估。PoC 前最好由資安、法遵、採購共同確認候選清單。
四、繁體中文能力的檢查要點
至少檢查三件事：是否混入簡體字、是否出現大陸慣用語、行政與法律術語是否符合台灣用法。實測時看模型會不會把「軟體」寫成「軟件」、把「資料」寫成「數據」、把「帳號」寫成「賬號」，也要檢查民國日期、統一編號、地址、幣別與全形標點。
整體（定性）印象：GPT-5.6 與 Claude Sonnet 5 適合建立雲端品質上限；Qwen3.8-27B 測中文多模態與 Agent；Gemma 4 測端側至工作站多模態；TAIDE 作為台灣語境基線。
繁簡轉換提醒：被要求用繁體回答時，部分模型仍可能輸出簡體或大陸慣用語。對外服務、法律文件這類嚴格場景，要在 Prompt 明講「請使用台灣繁體中文」，並在輸出後做後置驗證。
五、資料安全與隱私——問對四個問題
- 「我的資料會被拿去訓練嗎？」——付費企業方案通常有「不以輸入訓練」條款，消費者版不一定。要用企業方案，並把承諾寫進合約與 DPA，別只看說明頁。
- 「資料在哪裡處理？」——逐服務、逐模型、逐區域確認。要確保全程在台灣境內，實務上地端部署開放權重最單純。
- 「保留多久？誰看得到？」——問：預設保留天數、可否申請零保留、人工審閱的觸發與通報。簽 DPA。
- 「加密呢？」——傳輸與靜態加密普遍有，但推論時資料在記憶體是明文，這是雲端推論的共同限制。若連「出現在別人機器記憶體」都不允許，就不該用雲端 API——這是架構問題，不是設定問題。
金融業還須顧金管會監理：用第三方服務不代表責任移轉，仍須自行評估資安能力、確保客戶資料安全、保留可追溯決策紀錄。
六、依需求類型的選型建議
- 中小企業（預算有限）：平價層級當主力（GPT-5.6 Luna / Gemini Flash / Claude Haiku），需要深度推理時再路由到旗艦（Terra/Sol、Sonnet 5）。先比過平價與旗艦差距再決定路由門檻。
- 長文件處理（法律/研究/合規）：Claude Sonnet 5 的長上下文與結構化輸出較省後處理；Gemini 3.1 Pro 偏超長文本全文分析。都要搭配章節切分＋出處標註，別只靠「一次塞進去」。
- 金融業：公開低敏感工作可評估企業 API；機密資料評估地端 TAIDE、Gemma 4、Nemotron、Muse Glimmer、gpt-oss 等。是否排除特定來源由資安/法遵/採購依當期規範共同決定。
- 政府機關：依資料機密等級、資安責任等級判斷。地端開放權重較易說明資料流向；TAIDE 列台灣語境基線。DeepSeek 有使用限制。
- 重視正體中文（媒體/出版/法律）：雲端先測 GPT-5.6 與 Claude Sonnet 5，地端加入 TAIDE、Qwen3.8-27B 與 Gemma 4。用「正體用字正確率、簡體/大陸慣用語出現率、格式一致性、人工改寫率」四指標實測。
一句話總結：台灣企業選 LLM 別只看「哪家模型最強」——先想清楚自己的繁體中文要求、資料能不能出境、要不要地端、預算與供應鏈政策，再往下比模型。開放權重（尤其 TAIDE 做台灣語境基線）＋地端部署，是很多需要資料主權的企業的穩健起點。