AA 公告:效能方法論 v3.0.0
- Time per Task 成為模型比較的新頭條指標(每題完成時間)。
- Output Speed 改為涵蓋整段請求,包含等待第一個 token 的時間,並對單輪與多輪 agentic 工作負載取平均。
- Token 數取自各 provider 的 API;端點側的失敗計入該端點,每個端點公布 Endpoint Error Rate。
- Intelligence Index 維持 v5.0.1(CritPt v2 重評版),本輪分數無變動。
新制下的排行榜數字(節錄)
速度=outputSpeed(整段請求平均)、每題=intelligenceIndexTimePerTask、每題成本=intelligenceIndexCostPerTask、價格為每 1M token 牌價。
| 模型 | Intelligence Index | Output Speed (tps) | 每題時間 | 每題成本 | 價格 /1M(in/out) |
|---|
| Gemini 4 Carbon | 60.0 | 67.7 | 1813s | — | $4.00 / $20.00 |
| Claude Opus 5.5 | 59.1 | 111.5 | 1555s | — | $4.00 / $20.00 |
| Gemini 4 Carbon (Medium) | 58.3 | 77.6 | 1328s | — | $4.00 / $20.00 |
| Gemini 4 Carbon (Low) | 54.2 | 26.8 | 3220s | $7.19 | $4.00 / $20.00 |
| Claude Sonnet 5.5 (Xhigh) | 49.9 | 147.3 | 830s | $4.09 | $2.00 / $10.00 |
| Claude Haiku 5.5 (Max) | 36.5 | 255.8 | 883s | $0.41 | $0.10 / $0.50 |
| Claude Haiku 5.5 (Xhigh) | 34.6 | 238.1 | 572s | $0.25 | $0.10 / $0.50 |
| DeepSeek V4.1 Flash 1017 (Max) | 32.6 | 172.6 | 805s | $0.60 | $0.30 / $1.20 |
| Claude Haiku 5.5 (High) | 29.9 | 215.1 | 409s | $0.16 | $0.10 / $0.50 |
| DeepSeek V4.1 Flash 1017 (High) | 28.6 | 180.3 | 613s | $0.46 | $0.30 / $1.20 |
| Muse Spark Open | 24.9 | 153.5 | 433s | $2.02 | $1.25 / $4.25 |
| DeepSeek V4 Pro 0813 (Max) | 23.1 | 81.6 | 1210s | $1.77 | $1.32 / $3.96 |
| DeepSeek V4 Pro (Non-reasoning) | 12.6 | 87.1 | 822s | $0.98 | $1.32 / $3.96 |
| Mistral Medium 3.5 | 4.6 | 145.4 | 272s | $1.04 | $1.50 / $7.50 |
近期新增評測(AA changelog)
以上皆為 Artificial Analysis 公布的數字;AA 為第三方評測,非官方模型卡。
- 02 Nov:Gemini 4 Carbon (Low) 首評,Intelligence Index 54;Nanbeige4.3-33B 首評,II 20。
- 01 Nov:Gemini 4 Carbon (Medium) 首評,II 58;DeepSeek V4.1 Flash 1017 (High) 首評,II 29。
- 30 Oct:DeepSeek V4.1 Flash 1017 (Non-reasoning) 首評,II 19。