SShogo Bench

LLM leaderboard

Every model with at least three published benchmark results, side by side. Category scores are plain averages of normalised results we have (at least two per category), so they are less complete than the Agent Index. ECI is Epoch AI’s Capabilities Index, a general capability score.

249 models
#ModelAgent IndexECICodingReasoningMathKnowledgeLong contextMultimodalAgent $/MResults
1Claude Fable 5.2
Anthropic
76.4 Supported17455839992——$3.2121
2Gemini 4 Carbon
Google
73.6 Supported170—8295———$0.8416
3GPT-6 Astra
OpenAI
70.9 Supported16961769882——$4.6227
4Claude Opus 5.5
Anthropic
70.9 Supported16969789784——$1.6924
5GPT-6.1 Sol
OpenAI
70.0 Estimated16959789881——$0.8421
6Gemini 4 Argon
Google
69.5 Supported16754779182——$0.8424
7Gemini 4 Hydrogen
Google
69.4 Estimated——7892———$0.6310
8GPT-6.1 Terra
OpenAI
69.0 Estimated168536295———$0.4212
9Claude Sonnet 5.5
Anthropic
69.0 Estimated16765699274——$0.8423
10Claude Fable 5.1
Anthropic
68.2 Supported16765669581——$4.0126
11Claude Opus 5
Anthropic
65.4 Supported16560718977——$2.3126
12Claude Fable 5
Anthropic
64.1 Supported16455729380——$4.6226
13GPT-6 Sol
OpenAI
63.6 Estimated16451729175——$0.9220
14GPT-5.6 Sol
OpenAI
61.8 Supported16343758978——$1.8528
15Muse Wonder
Meta
60.9 Estimated16240—8479——$1.6914
16GPT-5.6 Terra
OpenAI
58.8 Estimated16150658366——$1.0222
17DeepSeek V4.1 Flash 1017
DeepSeek · open
57.6 Estimated159336772———$0.05013
18Claude Haiku 5.5
Anthropic
57.5 Estimated16048577759——$0.05022
19GPT-5.5
OpenAI
56.7 Supported16046717773——$2.5528
20Claude Opus 4.8
Anthropic
56.3 Supported16058647671——$2.3126
21Gemini 3.8 Flash
Google
56.2 Supported15942695975——$0.3526
22Grok 4.6
xAI
56.2 Supported15855626267——$0.9822
23Gemini 3.7 Flash
Google
55.7 Estimated15853716674——$0.3520
24GLM-5.3
Z.ai (Zhipu) · open
55.2 Supported15757516062——$0.6120
25Inkling 2 Small
thinkingmachines · open
55.2 Estimated——89————$0.145
26Kimi K3
Moonshot AI · open
54.9 Supported15949607466——$1.3923
27Grok 4.7
xAI
54.8 Estimated15649604969——$0.9822
28Muse Spark 1.3
Meta
54.7 Estimated15849477079——$0.03017
29Claude Opus 4.7
Anthropic
54.6 Supported15851576368——$2.3126
30Qwen3.8 Max Preview
Alibaba (Qwen)
53.6 Estimated15862527062——Free16
31Claude Opus 4.6
Anthropic
53.2 Supported15639615966——$2.3127
32Claude Sonnet 5
Anthropic
52.4 Supported15756516760——$0.9221
33GPT-5.4
OpenAI
51.6 Supported15848617066——$1.2727
34GPT-5.6 Luna
OpenAI
51.4 Estimated15736567560——$0.1023
35DeepSeek V4.1 Flash
DeepSeek · open
51.2 Estimated15748636260——$0.1220
36Grok 4.5
xAI
49.4 Estimated15549585365——$0.8121
37GPT-5.3 Codex
OpenAI
48.4 Supported———————$1.066
38Gemini 3.6 Flash
Google
48.3 Estimated15544595371——$0.3518
39Muse Spark 1.1
Meta
48.3 Estimated1556125—69——$0.5011
40GLM-5.3-Flash
Z.ai (Zhipu) · open
48.3 Supported154525647———$0.1617
41Muse Spark 1.2
Meta
48.2 Estimated1556038—69——$0.5012
42Gemini 3.5 Flash
Google
47.3 Supported15557645471——$0.7620
43GLM-5.2
Z.ai (Zhipu) · open
47.3 Supported15346475359——$0.6122
44GPT-5.2
OpenAI
46.4 Supported15541565358——$0.9627
45Gemini 3.1 Pro Preview
Google
46.0 Supported15647665277——$1.0231
46Claude Opus 4.5 (latest)
Anthropic
46.0 Supported15239494060—43$2.3130
47Claude Sonnet 4.6
Anthropic
44.9 Supported15344516558——$1.3923
48Gemini 3 Pro Preview
Google
44.7 Supported153545256——85$2.4822
49Grok 4.20 (Non-Reasoning)
xAI
43.9 Estimated152—674253——$0.4615
50Gemini 3 Flash Preview
Google
43.7 Supported152—604566—73$0.2121
51Kimi K2.6
Moonshot AI · open
43.7 Estimated15257394955——$0.4616
52GLM-5.1
Z.ai (Zhipu) · open
42.5 Estimated151523951———$0.4614
53Kimi K2.7 Code
Moonshot AI · open
42.1 Estimated151453954———$0.9614
54DeepSeek V4 Pro
DeepSeek · open
40.7 Estimated15041404060——$0.5015
55Qwen3.6 Max Preview
Alibaba (Qwen)
40.5 Estimated150—69—60——$1.089
56GPT-5.1 Codex Max
OpenAI
39.6 Estimated———————$0.673
57GPT-5.1
OpenAI
38.8 Supported1514541—61——$0.6920
58Claude Sonnet 4.5 (latest)
Anthropic
38.7 Supported14842324449—35$1.3930
59Qwen3.6 Plus
Alibaba (Qwen)
38.0 Estimated14948356651——Free13
60GPT-5
OpenAI
37.8 Supported15046405761—65$0.7631
61MiniMax-M3
MiniMax · open
36.7 Estimated14840364552——$0.1514
62Kimi K2.5
Moonshot AI · open
36.5 Supported1495037————$0.3116
63GLM-5
Z.ai (Zhipu) · open
36.5 Supported147—44————$0.3310
64Inkling
thinkingmachines · open
35.8 Estimated14828453255——$0.7919
65Qwen3.5 Plus
Alibaba (Qwen)
32.7 Estimated147—44—45——$0.209
66Claude Opus 4.1 (latest)
Anthropic
32.1 Supported14534442855——$5.9617
67o3
OpenAI
31.4 Supported147—357257—51$0.9724
68Grok 4
xAI
30.9 Supported147—55—————14
69GPT-5 Mini
OpenAI
30.4 Estimated14632285143——$0.1521
70Kimi K2 Thinking
Moonshot AI · open
30.3 Estimated145—53————$0.357
71DeepSeek V3.2
DeepSeek · open
30.0 Supported14452354857——$0.1617
72GLM-4.7
Z.ai (Zhipu) · open
30.0 Estimated143483445———$0.2412
73o4-mini
OpenAI
29.8 Estimated14560295538—50$0.5322
74MiniMax-M2.5
MiniMax · open
28.4 Estimated——34————Free7
75Claude-Opus-4
Anthropic
27.9 Supported14347297557—28$5.9620
76Claude Haiku 4.5
Anthropic
27.1 Estimated14341248235——$0.4617
77Qwen3 Coder 480B A35B
Alibaba (Qwen) · open
26.4 Estimated—31—————$0.174
78Claude Sonnet 4
Anthropic
26.2 Supported14251277848—19$1.2021
79Qwen3 Max
Alibaba (Qwen)
25.7 Estimated142——6351——$0.1810
80Kimi K2 0905
Moonshot AI · open
25.3 Estimated141——————$1.165
81Gemini 2.5 Pro
Google
24.5 Supported14148345156—54$0.7629
82Claude 3.7 Sonnet
Anthropic
24.2 Supported141—2975——38$1.2018
83MiniMax-M2
MiniMax · open
23.9 Estimated———————$0.404
84Gemini 2.5 Flash
Google
23.6 Estimated141—16—47—48$0.1916
85o3-mini
OpenAI
23.3 Estimated14152224829——$1.1318
86GPT OSS 120B
OpenAI · open
22.1 Supported1403525—43——$0.04014
87DeepSeek-R1
DeepSeek · open
21.1 Estimated139522482———$0.7114
88o1
OpenAI
16.7 Estimated134—306142—43$15.9017
89Claude-Sonnet-3.5
Anthropic
14.8 Estimated130—2533——31$1.2015
90GPT-4o (2024-08-06)
OpenAI
12.2 Supported127—72029—41$1.6825
91Qwen2.5-72B
Alibaba (Qwen) · open
12.1 Estimated127——3627———11
92Claude 3 Opus
Anthropic
11.0 Estimated126—142123———11
93GPT-6.2 Astra
OpenAI
—174—8798———$3.377
94GPT-5.5 Pro
OpenAI
—163—738978——$33.7711
95Kimi K3.1 Pro
Moonshot AI · open
—16138548473——$0.9214
96GPT-5.4 Pro
OpenAI
—160—6871———$33.7710
97GPT-5.2 Pro
OpenAI
—157—6360———$25.456
98GPT-6 Luna
OpenAI
—15640587559——$0.05018
99Qwen3.8 Max 0902
Alibaba (Qwen)
—156504867———$0.7710
100DeepSeek V4 Pro 0813
DeepSeek · open
—15646616065——$0.2117
101Muse Spark Open
Meta · open
—155—6267———$0.5610
102Qwen3.7 Max
Alibaba (Qwen)
—15555485565——Free14
103DeepSeek V4 Flash 0731
DeepSeek · open
—15446575856——Free16
104Muse Spark
Meta
—153564653————7
105Mistral Large 4
Mistral
—15334444948——$0.2615
106Qwen3.8 27B
Alibaba (Qwen) · open
—1535847—64——$0.6011
107GPT-5 Pro
OpenAI
—151—4438———$18.188
108Beam 1.0
Reflection · open
—151—37—————6
109Inkling Small
thinkingmachines · open
—151495440———$0.2511
110Grok 4.3 Beta
xAI
—15045374054———14
111GPT-5.4 mini
OpenAI
—14942404348——$0.3816
112Qwen3.7 Plus
Alibaba (Qwen)
—14828476459——Free9
113Qwen3.5 397B-A17B
Alibaba (Qwen) · open
—148—416062——$0.747
114o3-pro
OpenAI
—147—32—62——$20.786
115Nemotron 3 Ultra
NVIDIA · open
—14727384464———10
116DeepSeek V4 Flash
DeepSeek · open
—1474821—60——$0.0606
117Qwen3.6 27B
Alibaba (Qwen) · open
—147—416352——$0.477
118GPT-5.4 nano
OpenAI
—146—373841——$0.1013
119Gemini 3.5 Flash Lite
Google
—14647332858——$0.1914
120Gemini 3.1 Flash Lite
Google
—14537295451——$0.3111
121Grok 4 Fast
xAI
—144—27—————6
122Gemma 4 31B IT
Google · open
—1444435—43——Free8
123Qwen3.6 35B-A3B
Alibaba (Qwen) · open
—14433405446——Free9
124Qwen3.5 35B-A3B
Alibaba (Qwen) · open
—144—39—51——$0.336
125Qwen3.5 Flash
Alibaba (Qwen)
—144—455142——$0.0409
126Qwen3.6 Flash
Alibaba (Qwen)
—144—375438——Free8
127Qwen3 235B A22B Thinking 2507
Alibaba (Qwen) · open
—143—37—47——$0.229
128Gemma 4 26B A4B
Google · open
—1424132—47———7
129Mistral Medium 3.5
Mistral
—14226——45——$1.897
130DeepSeek V3.1
DeepSeek · open
—141———50——$0.304
131Grok-3 mini
xAI
—140—2884————7
132Qwen3.5 9B
Alibaba (Qwen) · open
—139—36—40——Free7
133GPT-5 Nano
OpenAI
—139—264220——$0.03015
134Qwen3 235B A22B
Alibaba (Qwen) · open
—138—39—45——$0.417
135Qwen3-30B-A3B-Thinking (Jul 2025)
Alibaba (Qwen) · open
—138—30—36———6
136Qwen3 235B A22B Instruct 2507
Alibaba (Qwen) · open
—138—6—46——$0.226
137Grok 3
xAI
—138—2472————9
138Qwen3 32B
Alibaba (Qwen) · open
—1373827—33——$0.208
139GPT-4.5
OpenAI
—137—1958————11
140Qwq 32B
Alibaba (Qwen) · open
—136——————$0.684
141GPT-4.1
OpenAI
—136—154236——$0.9716
142Qwen3 14B
Alibaba (Qwen) · open
—136—26—31——$0.137
143Gemini 2.0 Pro
Google
—135———————5
144DeepSeek V3 0324
DeepSeek · open
—13547235730——$0.2211
145o1-mini
OpenAI
—135—1768————8
146GPT OSS 20B
OpenAI · open
—135—25—32——$0.207
147Qwen3 30B A3B Instruct 2507
Alibaba (Qwen) · open
—135———36——$0.114
148GPT-4.1 mini
OpenAI
—13436124629——$0.1914
149Qwen3 30B A3B
Alibaba (Qwen) · open
—134———26——$0.0605
150Gemini-2.0-Flash
Google
—134—2457———$0.1211
151Gemini 2.0 Flash Thinking (Jan 2025)
Google
—134—22—————7
152Gemini 2.5 Flash-Lite
Google
—133———30——$0.0804
153Mistral Medium 3
Mistral
—133—2557———$0.205
154Llama 4 Maverick
Meta · open
—13224134728——$0.2414
155Qwen3 8B
Alibaba (Qwen) · open
—132—21—22——$0.0907
156DeepSeek-V3
DeepSeek · open
—132421540———$0.339
157Qwen2.5-Max
Alibaba (Qwen)
—131——42————5
158Grok-2 (Dec 2024)
xAI
—130—2338————5
159Phi 4
Microsoft · open
—129—2139———$0.0706
160Llama 3.1-405B
Meta · open
—128—1430————9
161Llama 4 Scout
Meta · open
—128—93522——$0.1110
162Gemma 3 27B
Google · open
—12814154818———10
163GPT-4.1 nano
OpenAI
—1271764911——$0.05013
164Mistral Large 2 (Nov 2024)
Mistral · open
—126—2129————6
165Llama 3.3 70B
Meta · open
—126—112327———11
166Gemini 1.5 Pro (Feb 2024)
Google
—125—1547————11
167Claude 3.5 Haiku
Anthropic
—12528925———$0.3110
168GPT-4 Turbo
OpenAI
—125—201824——$9.869
169Llama 3.1-70B
Meta · open
—125——2025———8
170GPT-4o mini
OpenAI
—124—52015—33$0.1015
171Llama 3.2 90B
Meta · open
—123——21————6
172Qwen2-72B
Alibaba (Qwen) · open
—122———————5
173Llama 3-70B
Meta · open
—121——13————6
174Gemini 1.5 Flash (Sep 2024)
Google
—121——39————7
175Mistral Large
Mistral
—120——13———$0.785
176GPT-4
OpenAI
—120——1229——$31.437
177Claude 3 Sonnet
Anthropic
—120——10————5
178Mixtral 8x22B
Mistral · open
—119———————5
179Gemma 2 27B
Google · open
—119——1511——$0.696
180Claude-Haiku-3
Anthropic
—118——814——$0.106
181Claude 2
Anthropic
—117——7————5
182phi-3-medium 14B
Microsoft · open
—114———————3
183Mistral Nemo
Mistral · open
—114——————$0.164
184Mixtral 8x7B
Mistral · open
—113———————4
185Gemma 2 9B
Google · open
—112——11————4
186Llama 3.1-8B
Meta · open
—111—11212———9
187Llama 3-8B
Meta · open
—109——4————5
188GPT-3.5-turbo
OpenAI
—106——613——$0.507
189Llama 2-70B
Meta · open
—106——2————5
190Doubao Seed Evolving (Nov 2026)
ByteDance Seed
———65—————4
191MiMo-V2.6-Flash
Xiaomi · open
————————$0.0403
192MiMo-V2.6-Pro
Xiaomi · open
——67—————$0.115
193Step 5 Preview
stepfun · open
——63—————$0.384
194Mercury 2.5
inception
————————$0.0803
195Qwen3.7 Flash
Alibaba (Qwen)
————53———$0.0203
196Doubao Seed 2.1 Pro
ByteDance Seed
———53—————4
197Doubao Seed 2.1 Turbo
ByteDance Seed
———56—————4
198GPT Chat Latest
OpenAI
———3832———$2.556
199Doubao Seed 2.0 Lite (Apr 2026)
ByteDance Seed
———52—————4
200MiMo-V2.5
Xiaomi · open
——47—————$0.0404
201MiMo-V2.5-Pro
Xiaomi · open
——53——55——$0.116
202Trinity Large Thinking
arcee-ai · open
——34—————$0.123
203MiniMax-M2.7
MiniMax · open
——48—————$0.196
204Mistral Small 4
Mistral · open
—————38——$0.0803
205Mercury 2
inception
——29—————$0.0903
206Qwen3.5 122B-A10B
Alibaba (Qwen) · open
—————56——$0.534
207Qwen3.5 27B
Alibaba (Qwen) · open
—————55——$0.404
208Doubao-Seed-2.0 Pro
ByteDance Seed
———52—————4
209Gemini 3 Deep Think
Google
———69—————3
210MiniMax-M2.1
MiniMax · open
————————$0.223
211Mimo-V2-Flash
Xiaomi · open
——32—————$0.0403
212Ministral 3 8B 2512
Mistral · open
————————$0.0703
213Mistral Large 3
Mistral · open
——322—31——$1.206
214Grok 4.1 Fast (Non-Reasoning)
xAI
————————$0.0905
215granite-4.0-350m
Unknown
———0—————3
216Doubao-Seed 1.6
ByteDance Seed
———38————$0.174
217granite-4.0-micro
Unknown
———2—————3
218GLM-4.6
Z.ai (Zhipu) · open
——39—————$0.284
219DeepSeek V3.1 Terminus
DeepSeek · open
—————51——$0.304
220Magistral Small 1.2
Mistral · open
———15————$0.555
221Mistral Medium 3.1
Mistral
—————34——$0.204
222Mistral Small 3.2
Mistral · open
———16————$0.185
223Magistral Small 1.0
Mistral · open
———16—————4
224Mistral Small 3.1
Mistral · open
———1526————6
225Cohere Command A
Cohere · open
—————24———4
226Gemma 3 12B
Google · open
———10—10———6
227Gemma 3 4B
Google · open
—————11———4
228Mistral Small 3
Mistral · open
————26———$0.0503
229DeepSeek-R1-Distill-Llama-70B
DeepSeek · open
————71————3
230DeepSeek-R1-Distill-Qwen-14B
DeepSeek · open
————69————3
231DeepSeek-R1-Distill-Qwen-32B
DeepSeek · open
—————————3
232Amazon Nova Pro
Amazon
—————————3
233Tulu 3 (Tülu 3) 70B
Allen Institute for AI · open
————24————3
234Qwen Turbo
Alibaba (Qwen)
————31———$0.0203
235Ministral 3B
Mistral · open
—————13——$0.0304
236Gemini 1.5 Flash 8B
Google
—————————3
237Llama 3.2 1B Instruct
Meta · open
————————$0.0403
238Llama 3.2 11B
Meta · open
—————————3
239Qwen2.5-7B
Alibaba (Qwen) · open
—————10———6
240Qwen2.5-32B
Alibaba (Qwen) · open
————32————3
241c4ai-command-r-08-2024
Unknown
—————11———3
242Command R+
Cohere · open
—————15——$2.864
243Hermes 2 Theta Llama-3 70B
Nous Research · open
————13————3
244Mistral 7B v0.3
Mistral · open
————2————5
245Qwen Plus
Alibaba (Qwen)
————4248——$0.135
246Gemini 1.0 Pro
Google
————6————5
247DeepSeek LLM 67B
DeepSeek · open
————4————3
248Claude 2.1
Anthropic
—————————4
249Yi-34B
01.AI · open
—————————3