如何評估 LLM 的繁體中文品質：台灣企業選型必備檢查清單

本文為台灣企業 LLM 選型的延伸筆記，聚焦「繁體中文品質」如何變成可執行的評估指標。

台灣企業挑 LLM，常犯的錯誤是只看「綜合能力評分」就下結論。但對多數台灣應用來說，正體中文的品質往往比「模型多強」更關鍵——尤其對外服務、法律文件、公文、媒體出版這些場景，一個字詞用錯可能直接影響專業度甚至契約效力。這篇把「會講繁體」變成可驗收的清單。

一、為什麼台灣要「特別」測繁體中文

多數 LLM 的中文訓練資料以簡體為主。繁體字集與用語習慣、台灣本地的人名地名、法律與行政術語、甚至是台灣特有的社會政治脈絡，都對模型提出「簡體世界沒碰過」的要求。所以「中文強」不代表「台灣正體中文強」——這兩者要分開評估。

二、三個基本檢查要點

評估正體中文品質，至少要檢查三件事：

1. 是否混入簡體字——模型會不會在某些字用簡體寫法。
2. 是否出現中國大陸慣用語——用詞習慣是否符合台灣。
3. 行政與法律術語是否符合台灣用法——這是最容易踩雷、也最影響專業性的地方。

三、具體實測項目（可逐項測試）

把上面三個要點化作可執行的測試項：

• 汽車常用詞：模型會不會把「軟體」寫成「軟件」、把「資料」寫成「數據」、把「帳號」寫成「賬號」、把「網路」寫成「網絡」、把「介面」寫成「接口」。
• 日期與格式：民國日期（如「民國 114 年」）是否正確轉換；統一編號、地址格式、幣別（新臺幣）、全形標點是否套用台灣習慣。
• 專業術語：給定台灣的契約、法規、公文範例，看模型能否用正確的本地術語承接。
• 長文輸出：產生摘要或長文件時，繁中用字是否全程一致、不漏回簡體。

四、測試方法：用「你自己的文件＋題庫」複驗

市場上沒有公開統一的繁體中文 benchmark，網路上的星等評比多半是定性印象，不能直接當採購依據。正確做法：

1. 收集幾份你企業真實會用到的文件（取代隨手找的範例）。
2. 建立一份固定題庫，包含上述三要點的代表性陷阱。
3. 用至少幾份「已知含陷阱條款的長文件」當固定測試集。
4. 記錄四項指標：正體用字正確率、簡體字與大陸慣用語出現率、格式一致性、人工改寫率。
5. 最後一定由台灣在地使用者人工複驗，別只信自動化檢查。

五、繁簡轉換陷阱（重點警示）

即使模型支援繁體輸出，被要求「用繁體中文」回答時，仍可能輸出部分簡體字或大陸慣用語。對嚴格場景（對外服務、法律文件生成），兩個必要措施：

• 在 Prompt 明確指定：「請使用台灣繁體中文，符合台灣用語習慣」。
• 輸出後做後置驗證——把簡體字、大陸慣用語當作可自動偵測的輸出檢查。

六、各模型繁中能力的「定性」印象

以下為顧問團隊在企業情境的定性判斷，非公開 benchmark，不建議直接當採購依據：

評估維度	GPT-5.6	Claude Sonnet 5	Qwen 3.8	Gemma 4	TAIDE 12B
繁體字識別與生成	★★★★★	★★★★★	★★★★★	★★★★☆	★★★★★
台灣在地化語境理解	★★★★☆	★★★★☆	★★★☆☆	★★★☆☆	★★★★★
繁中長文摘要	★★★★★	★★★★★	★★★★☆	★★★★☆	★★★★☆
法規文件分析	★★★★☆	★★★☆☆	★★★☆☆	★★★☆☆	★★★★☆
繁中對話流暢度	★★★★★	★★★★★	★★★★☆	★★★★☆	★★★★★

整體落點：GPT-5.6 與 Claude Sonnet 5 適合建立雲端品質上限；Qwen3.8-27B 測中文多模態與 Agent；Gemma 4 測端側至工作站多模態；TAIDE 應作為台灣正體中文與行政語境的固定基線——它不與超大型模型比世界知識，價值在「正體中文、公文、台灣本地用語」的穩定輸入。

七、實務建議總結

1. 別只看綜合評測——先把「繁體中文品質」列為獨立、可驗收的指標。
2. 用自有資料建題庫複驗，星等只是縮小候選名單。
3. 繁簡轉換要用 Prompt 指定＋後置驗證雙保險。
4. 把提示詞、題庫、模型設定版本化——換模型或升級時才能比對是否退化。
5. 對台灣語境要求高的場景，TAIDE 值得列入地端基線，即使它不是世界知識最強。