背景
CWE-bench 旨在測試前沿網路安全能力（frontier cyber capabilities）。代理接收真實開原始碼庫的檢出版本與簡短指令，目標是發現並修復安全弱點而不破壞現有功能。此次發布的 CWE-bench v2 由 Collinear AI 推出，旨在擴大測試覆蓋範圍、提升品質與透明度，並開放公開任務集供任何人執行與評估模型。 官方原文・Hugging Face Blog
發生什麼事
Collinear AI 於 2026 年 11 月 3 日發布 CWE-bench v2，開放 100 個公開任務供社群評估模型。這些任務涵蓋 91 種不同的 CWE（Common Weakness Enumeration，通用弱點列舉，一種軟體安全弱點的分類標準），涉及多種漏洞類別。評測機制維持不變：代理接收開原始碼庫的檢出版本與簡短指令，目標是修復安全弱點而不影響原有功能。評分完全由程式自動執行，確保結果具有確定性且可重現。 官方原文・Hugging Face Blog
重點內容
為了確保任務品質，每個任務都經過人工審查，並確認指令符合真實情境、評分標準可從指令推導、驗證器檢查行為正確性而非特定修復結構、以及驗證器能識別並拒絕僅憑記憶的已知上游補丁等條件。此外，Collinear AI 維護一個保留測試集（held-out set），用於追蹤模型在未見任務上的進展，評估該測試集需聯絡 cyber@collinear.ai。 官方原文・Hugging Face Blog
在評測結果方面，共有 11 個模型參與評估。Gemini 4 Argon 以 67.8% 的 pass@1（第一次嘗試即通過的比例）和 81.0% 的 pass@4（四次嘗試中至少一次通過的比例）居首，緊隨其後的是 Claude Opus 5.5，分別為 67.3% 和 78.0%。100 個任務中有 95 個至少被一個模型解決，但排名第一的模型在每次嘗試中仍有 19% 的失敗率，顯示長尾問題尚未完全解決。 原文
在成本效益方面，DeepSeek V4.1 Flash、Claude Opus 5.5 和 Gemini 4 Argon 構成帕累托前沿（Pareto frontier，指在多個目標下無法在不犧牲其他目標的情況下改善某一目標的解集合）。DeepSeek V4.1 Flash 以每次執行 0.04 美元的費用達到 57.0% 的 pass@1；Claude Opus 5.5 以 1.83 美元增加 10 個百分點；Gemini 4 Argon 則以 3.92 美元取得最高分。 原文
對使用者的意義
開發者可以直接從 Hugging Face 儲存庫執行整個基準測試，無需自行複製程式碼。每個任務都是一個自包含的 Harbor 任務（包含 Docker 化環境、指令和確定性驗證器）。使用者需先在資料集頁面接受存取條件，並使用 hf auth login 將 Hugging Face token（存取令牌，用於身分驗證）儲存至 git 憑證管理器。執行指令為 harbor run，可指定代理、模型與環境。此外，任務標記為 rl-environment，表示相同的環境和驗證器可提供獎勵以訓練防禦性代理，而不僅限於評估。 官方原文・Hugging Face Blog
限制與未定事項
CWE-bench 資料集設有限制存取（gated），使用者必須先在 Hugging Face 資料集頁面接受存取條件才能下載任務。評估保留測試集（held-out set）並非公開進行，需透過電子郵件聯絡 Collinear AI 團隊。 官方原文・Hugging Face Blog
