LLM Survey

cinematika-7b:free

1.00	1.00	1.00
1.00	1.00	1.00
1.00	1.00	1.00

rwkv-5-3b-ai-town

1.00	1.00	1.00
1.00	1.00	1.00
1.00	1.00	1.00

1.00	1.00	1.00
1.00	1.00	1.00
1.00	1.00	1.00

1.00	1.00	1.00
1.00	1.00	1.00
1.00	1.00	1.00

openhermes-2-mistral-7b

1.00	1.00	1.00
1.00	1.00	1.00
1.00	1.00	1.00

rwkv-5-world-3b

1.00	0.99	0.99
0.99	1.00	1.00
0.99	1.00	1.00

1.00	0.97	0.97
0.97	1.00	0.99
0.97	0.99	1.00

claude-3-opus:beta

1.00	0.96	0.98
0.96	1.00	0.96
0.98	0.96	1.00

1.00	0.96	0.96
0.96	1.00	0.96
0.96	0.96	1.00

claude-2.1:beta

1.00	0.95	0.95
0.95	1.00	0.99
0.95	0.99	1.00

1.00	0.98	0.94
0.98	1.00	0.94
0.94	0.94	1.00

zephyr-7b-beta:free

1.00	1.00	0.93
1.00	1.00	0.93
0.93	0.93	1.00

llama-3-sonar-large-32k-chat

1.00	0.97	0.93
0.97	1.00	0.96
0.93	0.96	1.00

claude-3.5-sonnet

1.00	0.94	0.95
0.94	1.00	0.96
0.95	0.96	1.00

claude-2.0:beta

1.00	0.94	0.98
0.94	1.00	0.93
0.98	0.93	1.00

claude-3.5-sonnet:beta

1.00	0.94	0.97
0.94	1.00	0.93
0.97	0.93	1.00

1.00	0.97	0.93
0.97	1.00	0.93
0.93	0.93	1.00

claude-instant-1:beta

1.00	0.94	0.95
0.94	1.00	0.95
0.95	0.95	1.00

1.00	0.93	0.95
0.93	1.00	0.95
0.95	0.95	1.00

wizardlm-2-8x22b

1.00	0.93	0.94
0.93	1.00	0.96
0.94	0.96	1.00

1.00	0.93	0.96
0.93	1.00	0.91
0.96	0.91	1.00

1.00	0.92	0.92
0.92	1.00	0.96
0.92	0.96	1.00

nemotron-4-340b-instruct

1.00	0.95	0.93
0.95	1.00	0.92
0.93	0.92	1.00

llama-3-70b-instruct

1.00	0.96	0.91
0.96	1.00	0.93
0.91	0.93	1.00

claude-instant-1.2

1.00	0.90	0.95
0.90	1.00	0.94
0.95	0.94	1.00

claude-3-haiku:beta

1.00	0.95	0.91
0.95	1.00	0.91
0.91	0.91	1.00

1.00	0.97	0.89
0.97	1.00	0.91
0.89	0.91	1.00

llama-3-8b-instruct:free

1.00	0.91	0.96
0.91	1.00	0.90
0.96	0.90	1.00

gpt-4-1106-preview

1.00	0.92	0.93
0.92	1.00	0.92
0.93	0.92	1.00

gpt-4-vision-preview

1.00	0.90	0.91
0.90	1.00	0.95
0.91	0.95	1.00

claude-instant-1.1

1.00	0.96	0.90
0.96	1.00	0.88
0.90	0.88	1.00

palm-2-codechat-bison

1.00	0.87	1.00
0.87	1.00	0.87
1.00	0.87	1.00

1.00	0.89	0.93
0.89	1.00	0.91
0.93	0.91	1.00

gemini-flash-1.5

1.00	0.89	0.96
0.89	1.00	0.89
0.96	0.89	1.00

gpt-3.5-turbo-0125

1.00	0.95	0.89
0.95	1.00	0.89
0.89	0.89	1.00

nous-hermes-2-mixtral-8x7b-dpo

1.00	0.91	0.93
0.91	1.00	0.89
0.93	0.89	1.00

1.00	0.92	0.90
0.92	1.00	0.92
0.90	0.92	1.00

nous-capybara-34b

1.00	0.91	0.90
0.91	1.00	0.92
0.90	0.92	1.00

1.00	0.91	0.92
0.91	1.00	0.91
0.92	0.91	1.00

llama-2-70b-chat:nitro

1.00	0.94	0.91
0.94	1.00	0.87
0.91	0.87	1.00

palm-2-chat-bison

1.00	0.86	0.86
0.86	1.00	1.00
0.86	1.00	1.00

gpt-3.5-turbo-16k

1.00	0.88	0.93
0.88	1.00	0.90
0.93	0.90	1.00

mixtral-8x22b-instruct

1.00	0.90	0.90
0.90	1.00	0.91
0.90	0.91	1.00

1.00	0.91	0.90
0.91	1.00	0.88
0.90	0.88	1.00

gpt-4o-2024-05-13

1.00	0.91	0.91
0.91	1.00	0.88
0.91	0.88	1.00

fimbulvetr-11b-v2

1.00	0.92	0.88
0.92	1.00	0.89
0.88	0.89	1.00

1.00	0.89	0.90
0.89	1.00	0.90
0.90	0.90	1.00

1.00	0.90	0.93
0.90	1.00	0.86
0.93	0.86	1.00

1.00	0.92	0.88
0.92	1.00	0.89
0.88	0.89	1.00

1.00	0.89	0.90
0.89	1.00	0.91
0.90	0.91	1.00

1.00	0.88	0.93
0.88	1.00	0.88
0.93	0.88	1.00

gpt-3.5-turbo-1106

1.00	0.91	0.89
0.91	1.00	0.88
0.89	0.88	1.00

claude-3-sonnet:beta

1.00	0.89	0.91
0.89	1.00	0.88
0.91	0.88	1.00

llama-2-70b-chat

1.00	0.90	0.89
0.90	1.00	0.89
0.89	0.89	1.00

nous-capybara-7b

1.00	0.89	0.88
0.89	1.00	0.90
0.88	0.90	1.00

mixtral-8x7b-instruct:nitro

1.00	0.90	0.89
0.90	1.00	0.89
0.89	0.89	1.00

1.00	0.94	0.85
0.94	1.00	0.87
0.85	0.87	1.00

toppy-m-7b:nitro

1.00	0.89	0.90
0.89	1.00	0.88
0.90	0.88	1.00

1.00	0.91	0.87
0.91	1.00	0.87
0.87	0.87	1.00

sonar-medium-chat

1.00	0.86	0.84
0.86	1.00	0.96
0.84	0.96	1.00

1.00	0.88	0.88
0.88	1.00	0.91
0.88	0.91	1.00

gpt-4-turbo-preview

1.00	0.88	0.91
0.88	1.00	0.86
0.91	0.86	1.00

claude-3-sonnet

1.00	0.88	0.90
0.88	1.00	0.88
0.90	0.88	1.00

1.00	0.86	0.90
0.86	1.00	0.90
0.90	0.90	1.00

llama-3-8b-instruct:extended

1.00	0.86	0.87
0.86	1.00	0.92
0.87	0.92	1.00

1.00	0.86	0.88
0.86	1.00	0.91
0.88	0.91	1.00

1.00	0.90	0.88
0.90	1.00	0.86
0.88	0.86	1.00

claude-instant-1

1.00	0.89	0.86
0.89	1.00	0.89
0.86	0.89	1.00

gpt-3.5-turbo-0613

1.00	0.87	0.87
0.87	1.00	0.90
0.87	0.90	1.00

1.00	0.83	0.92
0.83	1.00	0.88
0.92	0.88	1.00

snowflake-arctic-instruct

1.00	0.85	0.90
0.85	1.00	0.88
0.90	0.88	1.00

mixtral-8x7b-instruct

1.00	0.90	0.86
0.90	1.00	0.87
0.86	0.87	1.00

1.00	0.88	0.83
0.88	1.00	0.91
0.83	0.91	1.00

midnight-rose-70b

1.00	0.85	0.88
0.85	1.00	0.89
0.88	0.89	1.00

1.00	0.86	0.91
0.86	1.00	0.86
0.91	0.86	1.00

mistral-7b-instruct-v0.3

1.00	0.93	0.83
0.93	1.00	0.85
0.83	0.85	1.00

1.00	0.87	0.86
0.87	1.00	0.89
0.86	0.89	1.00

1.00	0.82	0.85
0.82	1.00	0.94
0.85	0.94	1.00

1.00	0.87	0.88
0.87	1.00	0.86
0.88	0.86	1.00

llama-3-lumimaid-70b

1.00	0.87	0.87
0.87	1.00	0.86
0.87	0.86	1.00

1.00	0.86	0.91
0.86	1.00	0.83
0.91	0.83	1.00

1.00	0.85	0.87
0.85	1.00	0.88
0.87	0.88	1.00

nous-hermes-2-mixtral-8x7b-sft

1.00	0.90	0.84
0.90	1.00	0.86
0.84	0.86	1.00

lzlv-70b-fp16-hf

1.00	0.81	0.92
0.81	1.00	0.87
0.92	0.87	1.00

airoboros-l2-70b

1.00	0.86	0.88
0.86	1.00	0.85
0.88	0.85	1.00

mythomax-l2-13b

1.00	0.86	0.86
0.86	1.00	0.87
0.86	0.87	1.00

sonar-medium-online

1.00	0.88	0.86
0.88	1.00	0.84
0.86	0.84	1.00

mistral-7b-instruct-v0.1

1.00	0.85	0.88
0.85	1.00	0.84
0.88	0.84	1.00

chronos-hermes-13b

1.00	0.89	0.82
0.89	1.00	0.85
0.82	0.85	1.00

1.00	0.87	0.85
0.87	1.00	0.85
0.85	0.85	1.00

1.00	0.83	0.89
0.83	1.00	0.85
0.89	0.85	1.00

noromaid-mixtral-8x7b-instruct

1.00	0.86	0.83
0.86	1.00	0.87
0.83	0.87	1.00

1.00	0.82	0.86
0.82	1.00	0.88
0.86	0.88	1.00

llama-3-70b-instruct:nitro

1.00	0.93	0.81
0.93	1.00	0.82
0.81	0.82	1.00

llama-3-lumimaid-8b

1.00	0.83	0.88
0.83	1.00	0.85
0.88	0.85	1.00

1.00	0.89	0.84
0.89	1.00	0.83
0.84	0.83	1.00

gemma-7b-it:nitro

1.00	0.79	0.90
0.79	1.00	0.86
0.90	0.86	1.00

zephyr-orpo-141b-a35b

1.00	0.85	0.84
0.85	1.00	0.87
0.84	0.87	1.00

gpt-3.5-turbo-instruct

1.00	0.86	0.85
0.86	1.00	0.84
0.85	0.84	1.00

llama-3-sonar-small-32k-chat

1.00	0.84	0.80
0.84	1.00	0.90
0.80	0.90	1.00

1.00	0.86	0.83
0.86	1.00	0.86
0.83	0.86	1.00

codellama-34b-instruct

1.00	0.84	0.87
0.84	1.00	0.83
0.87	0.83	1.00

phi-3-mini-128k-instruct:free

1.00	0.85	0.84
0.85	1.00	0.86
0.84	0.86	1.00

mistral-7b-instruct:nitro

1.00	0.82	0.85
0.82	1.00	0.87
0.85	0.87	1.00

llama-3-sonar-small-32k-online

1.00	0.84	0.84
0.84	1.00	0.85
0.84	0.85	1.00

1.00	0.84	0.91
0.84	1.00	0.79
0.91	0.79	1.00

1.00	0.83	0.81
0.83	1.00	0.89
0.81	0.89	1.00

phind-codellama-34b

1.00	0.86	0.83
0.86	1.00	0.83
0.83	0.83	1.00

llama-3-lumimaid-8b:extended

1.00	0.82	0.85
0.82	1.00	0.85
0.85	0.85	1.00

mixtral-8x22b-instruct-preview

1.00	0.82	0.92
0.82	1.00	0.78
0.92	0.78	1.00

1.00	0.79
0.79	1.00

llama-3-8b-instruct

1.00	0.80	0.86
0.80	1.00	0.85
0.86	0.85	1.00

1.00	0.83	0.83
0.83	1.00	0.85
0.83	0.85	1.00

toppy-m-7b:free

1.00	0.83	0.84
0.83	1.00	0.84
0.84	0.84	1.00

1.00	0.79	0.90
0.79	1.00	0.81
0.90	0.81	1.00

palm-2-chat-bison-32k

1.00	0.77	0.86
0.77	1.00	0.87
0.86	0.87	1.00

1.00	0.82	0.83
0.82	1.00	0.85
0.83	0.85	1.00

mistral-7b-instruct-v0.2

1.00	0.81	0.90
0.81	1.00	0.78
0.90	0.78	1.00

mythomist-7b:free

1.00	0.78	0.90
0.78	1.00	0.82
0.90	0.82	1.00

phi-3-mini-128k-instruct

1.00	0.83	0.79
0.83	1.00	0.86
0.79	0.86	1.00

openchat-7b:free

1.00	0.83	0.86
0.83	1.00	0.79
0.86	0.79	1.00

nous-hermes-llama2-13b

1.00	0.82	0.88
0.82	1.00	0.77
0.88	0.77	1.00

llama-2-13b-chat

1.00	0.78	0.88
0.78	1.00	0.80
0.88	0.80	1.00

llama-3-sonar-large-32k-online

1.00	0.84	0.80
0.84	1.00	0.82
0.80	0.82	1.00

pplx-70b-online

1.00	0.86	0.82
0.86	1.00	0.78
0.82	0.78	1.00

mistral-7b-openorca

1.00	0.82	0.83
0.82	1.00	0.81
0.83	0.81	1.00

gemini-pro-vision

1.00	0.80	0.86
0.80	1.00	0.79
0.86	0.79	1.00

1.00	0.80	0.83
0.80	1.00	0.81
0.83	0.81	1.00

sonar-small-online

1.00	0.83	0.82
0.83	1.00	0.79
0.82	0.79	1.00

mistral-7b-instruct

1.00	0.83	0.80
0.83	1.00	0.81
0.80	0.81	1.00

gpt-3.5-turbo-0301

1.00	0.84	0.79
0.84	1.00	0.79
0.79	0.79	1.00

1.00	0.80	0.83
0.80	1.00	0.79
0.83	0.79	1.00

openhermes-2.5-mistral-7b

1.00	0.80	0.82
0.80	1.00	0.79
0.82	0.79	1.00

1.00	0.82	0.80
0.82	1.00	0.77
0.80	0.77	1.00

llama-3-8b-instruct:nitro

1.00	0.80	0.76
0.80	1.00	0.84
0.76	0.84	1.00

claude-instant-1.0

1.00	0.83	0.78
0.83	1.00	0.78
0.78	0.78	1.00

1.00	0.80	0.79
0.80	1.00	0.80
0.79	0.80	1.00

mythomax-l2-13b:extended

1.00	0.73	0.92
0.73	1.00	0.75
0.92	0.75	1.00

remm-slerp-l2-13b

1.00	0.76	0.83
0.76	1.00	0.80
0.83	0.80	1.00

nous-hermes-2-mistral-7b-dpo

1.00	0.75	0.85
0.75	1.00	0.78
0.85	0.78	1.00

dolphin-mixtral-8x7b

1.00	0.77	0.75
0.77	1.00	0.85
0.75	0.85	1.00

gemma-7b-it:free

1.00	0.73	0.79
0.73	1.00	0.84
0.79	0.84	1.00

hermes-2-pro-llama-3-8b

1.00	0.74	0.87
0.74	1.00	0.74
0.87	0.74	1.00

1.00	0.81	0.78
0.81	1.00	0.77
0.78	0.77	1.00

nous-capybara-7b:free

1.00	0.74	0.77
0.74	1.00	0.82
0.77	0.82	1.00

phi-3-medium-4k-instruct

1.00	0.74	0.86
0.74	1.00	0.73
0.86	0.73	1.00

stripedhyena-nous-7b

1.00	0.76	0.78
0.76	1.00	0.79
0.78	0.79	1.00

psyfighter-13b-2

1.00	0.80	0.75
0.80	1.00	0.77
0.75	0.77	1.00

1.00	0.84	0.77
0.84	1.00	0.71
0.77	0.71	1.00

remm-slerp-l2-13b:extended

1.00	0.75	0.81
0.75	1.00	0.75
0.81	0.75	1.00

mythomax-l2-13b:nitro

1.00	0.73	0.75
0.73	1.00	0.81
0.75	0.81	1.00

olmo-7b-instruct

1.00	0.73	0.79
0.73	1.00	0.74
0.79	0.74	1.00

sonar-small-chat

1.00	0.78	0.71
0.78	1.00	0.74
0.71	0.74	1.00

1.00	0.75	0.76
0.75	1.00	0.72
0.76	0.72	1.00

phi-3-medium-128k-instruct:free

1.00	0.88	0.69
0.88	1.00	0.65
0.69	0.65	1.00

codellama-70b-instruct

1.00	0.78	0.70
0.78	1.00	0.73
0.70	0.73	1.00

nous-hermes-yi-34b

1.00	0.89	0.69
0.89	1.00	0.63
0.69	0.63	1.00

1.00	0.66	0.79
0.66	1.00	0.74
0.79	0.74	1.00

1.00	0.73	0.71
0.73	1.00	0.70
0.71	0.70	1.00

1.00	0.82	0.64
0.82	1.00	0.67
0.64	0.67	1.00

codellama-70b-instruct

1.00	0.81	0.63
0.81	1.00	0.66
0.63	0.66	1.00

1.00	0.74	0.72
0.74	1.00	0.57
0.72	0.57	1.00

1.00	0.69	0.61
0.69	1.00	0.73
0.61	0.73	1.00

phi-3-medium-128k-instruct

1.00	0.76	0.61
0.76	1.00	0.61
0.61	0.61	1.00

dolphin-mixtral-8x22b

1.00	0.71	0.69
0.71	1.00	0.57
0.69	0.57	1.00

mistral-7b-instruct:free

1.00	0.51	0.48
0.51	1.00	0.80
0.48	0.80	1.00

1.00	0.79	0.47
0.79	1.00	0.49
0.47	0.49	1.00

stripedhyena-hessian-7b

1.00	0.60	0.41
0.60	1.00	0.64
0.41	0.64	1.00

1.00	0.62	0.53
0.62	1.00	0.45
0.53	0.45	1.00

1.00	0.40	0.48
0.40	1.00	0.44
0.48	0.44	1.00

1.00	0.31	0.55
0.31	1.00	0.26
0.55	0.26	1.00

1.00	0.54	0.26
0.54	1.00	0.27
0.26	0.27	1.00

1.00	1.00	0.03
1.00	1.00	0.03
0.03	0.03	1.00

palm-2-codechat-bison-32k

1.00	0.12	0.82
0.12	1.00	0.07
0.82	0.07	1.00

dbrx-instruct:nitro

1.00	0.90	0.05
0.90	1.00	0.04
0.05	0.04	1.00

1.00	0.15	0.21
0.15	1.00	0.61
0.21	0.61	1.00

1.00	0.26	0.32
0.26	1.00	0.25
0.32	0.25	1.00

llama-guard-2-8b

1.00	0.14	0.22
0.14	1.00	0.19
0.22	0.19	1.00

1.00	0.11	0.12
0.11	1.00	0.32
0.12	0.32	1.00