AI 新視界 AI WorldviewAI 新視界 AI Worldview
申請帳號 / 登入

← AI 實驗室

由會員 （本站） 發起｜AIView 實驗室執行量測｜結果由程式整理，未經人工審閱

Llama-3.1-Taiwan 8B Instruct｜繁中能力（天梯榜完整版）

由 NVIDIA RTX A6000（工作站，測試用單卡） 執行。答題結果主要取決於模型權重、量化、推論引擎與生成條件；不同硬體的浮點運算可能造成細微差異，本站尚未逐一驗證跨機器的一致性。

發起時的問題：「排行榜完整版（本站）」

加入比較下載原始紀錄（JSON）
分享LINEFacebookThreadsXLinkedIn

更正紀錄（報告第 4 版）

  • 2026/10/15 上午10:10:46｜補跑無效題（外部審查 F01）
    • TMMLU+：1 題因推論服務或執行環境錯誤無效，已補跑；分數由 35.3 改為 35.3，仍有 1 題無效。
  • 2026/10/15 上午10:12:23｜補跑無效題（外部審查 F01）
    • TMMLU+：1 題因推論服務或執行環境錯誤無效，已補跑；分數由 35.3 改為 35.3，仍有 1 題無效。
  • 2026/10/15 上午10:13:24｜補跑無效題（外部審查 F01）
    • TMMLU+：1 題原本因推論引擎回 HTTP 500 記為無效題。補跑查明是模型輸出了無法解碼的字元（推論引擎紀錄：unparsed peg-native output），屬模型自身的輸出問題，依官方規則（擷取不到答案）算錯並計入分母；分數不變，現已完整。

更正前後的分數與題數見上方說明；本頁、原始紀錄、模型頁與天梯榜都使用更正後的版本。

這次量到什麼

  • TMMLU+（繁中知識）：35.3 分（95% 信賴區間 32～38），抽 1340 題。
  • 台灣法律題（台灣在地）：36.8 分（95% 信賴區間 31～44），抽 209 題。
  • TTQA（台灣在地知識）（台灣在地）：61.1 分（95% 信賴區間 52～70），抽 113 題。
  • DRCD（繁中閱讀理解）（繁中閱讀理解）：76.0 分（95% 信賴區間 72～80），抽 500 題。
  • MT-Bench 台灣版（繁中對話）：36.0 分（95% 信賴區間 32～40），抽 80 題。
  • 測試時關閉思考模式，分數通常低於官方開啟思考時公布的數字，適合拿來比較同條件下的不同模型。

評測結果

各項分數（0～100，越高越好）0255075100分35.3TMMLU+36.8台灣法律題61.1TTQA（台灣在地知識）76DRCD（繁中閱讀理解）36MT-Bench 台灣版分數

TMMLU+

繁中知識35.3

正確率（4 選 1；各科→四大類→等權平均，同 iKala ievals）。預定 1340 題；其中 26 題模型的回答格式不符官方規定，擷取不到答案，照官方規則算錯；95% 信賴區間 32.5～38.2，題數少時區間較寬，差距落在區間內不代表真的有差。

子項目分數012.52537.550分35STEM30humanities40.6social sciences35.7other (business, health, misc.)分數
資料集
ikala/tmmluplus（v1.1 test） ・github.com
授權
MIT
與官方的差異
iKala 發布的台灣考試題，依 ievals subject.tsv 共 67 科（v1.1 已修正 197 題答案、移除 539 題）。提示與擷取照 iKala ievals 的 ChatGPT_Evaluator 零樣本（vendor/ievals @ d4d7a0658401）；計分：每科正確率 → 四大類（STEM／人文／社會科學／其他）取科目平均 → 四類等權平均。擷取前先去掉 Markdown 粗體「**」。官方 max_tokens=800，此處相同（偶有長推理被截斷而擷取不到，記錯）。各科等量分層抽樣（預設每科 1 題）（固定種子）；信賴區間為加權常態近似。關閉思考模式。與本站 aiwv/evals.py 的 TMMLU+ 跑法不同：那邊要求只回字母、取第一個字母；這裡照 ievals 原提示與擷取。
用量
受測模型輸入 0／輸出 0 token；耗時 0 分鐘
逐題作答紀錄（1340 題）

    台灣法律題

    台灣在地36.8

    正確率（4 選 1，逐題平均）。預定 209 題；其中 4 題模型的回答格式不符官方規定，擷取不到答案，照官方規則算錯；95% 信賴區間 30.6～43.6，題數少時區間較寬，差距落在區間內不代表真的有差。

    資料集
    lianghsun/tw-legal-benchmark-v1 ・huggingface.co
    授權
    Apache-2.0
    與官方的差異
    209 題台灣法律（專利法、民法、公司法、票據法、證交法等）律師／證照考試風格題。資料集 eval.yaml 指定 inspect-ai 的 multiple_choice（不 CoT）＋ choice 計分；提示模板與「ANSWER: X」解析直接取自 inspect-ai 原始碼（vendor/inspect_ai @ d5862e008bc1）。inspect-ai 預設不設輸出上限，此處 4096（模型常先推理再寫 ANSWER）。關閉思考模式。依約 40K 輸出 token 預算預設抽 42 題（全量 209 題可用 --n 0）。
    用量
    受測模型輸入 55,577／輸出 1,990 token；耗時 1 分鐘
    逐題作答紀錄（209 題）

      TTQA（台灣在地知識）

      台灣在地61.1

      正確率（4 選 1，逐題平均）。預定 113 題；其中 1 題模型的回答格式不符官方規定，擷取不到答案，照官方規則算錯；95% 信賴區間 51.8～69.5，題數少時區間較寬，差距落在區間內不代表真的有差。

      資料集
      MediaTek-Research/TCEval-v2（tmmluplus-ttqav2） ・github.com
      授權
      未標示
      與官方的差異
      台灣在地用語、物產、地方知識題，test 共 113 題，預設全量。照 TCEval 的 API 模型跑法（vendor/TCEval @ d654deee1dfc，scripts/cal_likelihood_by_api.py）：只有 user 訊息、題目後接「Answer:」。官方用 logit_bias 限制只輸出一個選項字母，Ollama 沒有這個功能；聊天模型會先寫說明，所以改為生成（上限 1024 token）後用本站通用擷取（最後的「答案是 X」、開頭字母、或唯一提到的選項文字）。資料集卡未標示授權，題目不公開顯示。關閉思考模式。
      用量
      受測模型輸入 15,606／輸出 1,448 token；耗時 1 分鐘
      逐題對錯（113 題；依資料集條款不公開題目與答案）

        DRCD（繁中閱讀理解）

        繁中閱讀理解76.0

        完全相符 EM（答案須與任一參考答案一字不差）；另附字元 F1。預定 500 題；95% 信賴區間 72.1～79.5，題數少時區間較寬，差距落在區間內不代表真的有差。

        完全相符（EM）
        76.0
        F1
        87.9
        資料集
        MediaTek-Research/TCEval-v2（drcd） ・github.com
        授權
        未標示
        與官方的差異
        台達電閱讀理解資料集（維基百科段落＋問題，答案是段落中的片段），test 3,493 題、隨機抽樣（固定種子）。照 TCEval 修改版 lm-eval 的 drcd 任務（vendor/TCEval @ d654deee1dfc）：3-shot（dev 前 3 題，逐輪對話）、遇到換行停止，官方只報 EM；另附 SQuAD 式字元層級 F1（去標點與空白）供參考。資料集卡未標示授權，題目不公開顯示。關閉思考模式。
        用量
        受測模型輸入 863,218／輸出 3,099 token；耗時 3 分鐘
        逐題對錯（500 題；依資料集條款不公開題目與答案）

          MT-Bench 台灣版

          繁中對話36.0

          Claude 依 MT-Bench 官方單一評分提示詞給每輪 1–10 分，兩輪平均後除以 10。預定 80 題；95% 信賴區間 31.8～40.2，題數少時區間較寬，差距落在區間內不代表真的有差。

          第一輪平均
          4.2
          第二輪平均
          3
          子項目分數012.52537.550分44math31stem40.5coding37.5writing34.5roleplay30.5reasoning37.5extraction32.5humanities分數
          資料集
          MediaTek-Research/TCEval-v2 ・github.com
          授權
          未標示
          與官方的差異
          八類各 10 題（共 80 題）依類別分層抽樣。關閉思考模式；溫度 0（MT-Bench 依官方類別溫度）、每題 1 次。每題兩輪對話，生成上限 1024 token（FastChat 預設）。裁判由 GPT-4 改為 Claude，沿用 FastChat single-v1／single-math-v1（數學、推理、程式附參考答案）與 multi-turn 版提示詞，評分改用結構化輸出（不再解析 [[rating]] 字串）；參考答案用 TCEval-v2 附的 reference（coding 有 1 題沒有參考答案，該題改用不附參考答案的 single-v1）。資料集未標示授權，不公開題目。
          用量
          受測模型輸入 48,074／輸出 55,832 token；Claude 裁判（claude-sonnet-5-5）219,094／50,052 token；耗時 19 分鐘
          逐題對錯（80 題；依資料集條款不公開題目與答案）

            測試條件

            模型
            Llama-3.1-Taiwan 8B Instruct（aiview/llama-3.1-taiwan-8b-instruct:q4_K_M）
            參數量／量化
            8.0B／Q4_K_M
            權重識別
            sha256:b3fabb893
            推論引擎
            Ollama 0.32.13
            機器
            NVIDIA RTX A6000（工作站，測試用單卡）
            本次使用的裝置
            未記錄（2026-10-15 之前的結果只記錄主機總配置，見下方）
            本次並行數
            未記錄
            評測程式版本
            未記錄
            主機總配置：GPU
            NVIDIA RTX A6000
            CPU
            Intel(R) Core(TM) i7-9700 CPU @ 3.00GHz（8 核心）
            系統記憶體
            62.7 GiB
            驅動／CUDA
            580.159.03／13.0
            作業系統／核心
            Ubuntu 24.04.4 LTS／6.17.0-35-generic
            測試模板
            繁中能力（天梯榜完整版）（第 1 版）
            參數
            temperature 0、關閉思考模式、固定抽樣種子 42；各項題數見上表
            執行日期
            2026/10/15 上午7:43:59
            報告版本
            v4

            同一組條件（模型權重、量化、引擎版本、測試版本、題目抽樣）的分數才能直接比較。硬體資訊只列型號，不含主機名稱。

            登入會員後可以留言。登入

            追問與討論 0

            • 還沒有留言。

            留言公開顯示暱稱，不顯示你的真實姓名與信箱。含多個連結或疑似廣告的留言會先經編輯確認；檢舉達 3 次的留言會自動隱藏。隱私政策