* More information about speed scores and RAM are available here.
Rank | Name | LiDiRus | RCB | PARus | MuSeRC | TERRa | RUSSE | RWSD | DaNetQA | RuCoS | |||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Parameters | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | |
1 | HUMAN BENCHMARK | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
2 | ruadapt Solar 10.7 twostage | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
3 | Mistral 7B LoRA | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
4 | FRED-T5 1.7B finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
5 | Golden Transformer v2.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
6 | LLaMA-2 13B LoRA | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
7 | Saiga 13B LoRA | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
8 | YaLM p-tune (3.3B frozen + 40k trainable params) | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
9 | ruadapt LLaMA-2 7B LoRA | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
10 | FRED-T5 large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
11 | RuLeanALBERT | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
12 | FRED-T5 1.7B (only encoder 760M) finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
13 | ruT5-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
14 | ruRoberta-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
15 | gpt-3.5-turbo zero-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
16 | Golden Transformer v1.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
17 | xlm-roberta-large (Facebook) finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
18 | mdeberta-v3-base (Microsoft) finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
19 | Saiga2 70B zero-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
20 | Saiga Mistral 7B zero-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
21 | ruT5-base finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
22 | ruBert-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
23 | ruBert-base finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
24 | YaLM 1.0B few-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
25 | Saiga 13B zero-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
26 | RuGPT3XL few-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
27 | ruElectra-medium finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
28 | ruElectra-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
29 | RuBERT plain | 165 | 2.39 | 295 | 2.39 | 1070 | 2.39 | 4 | 2.40 | 297 | 2.39 | 226 | 2.39 | 102 | 2.39 | 118 | 2.40 | 9 | 2.40 |
30 | SBERT_Large_mt_ru_finetuning | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
31 | SBERT_Large | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
32 | Qwen 4B saiga zero-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
33 | ruElectra-small finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
34 | RuGPT3Large | 69 | 7.50 | 53 | 7.50 | 137 | 7.50 | 1 | 7.49 | 61 | 7.50 | 75 | 7.49 | 49 | 7.51 | 27 | 7.49 | 2 | 7.49 |
35 | RuBERT conversational | 171 | 2.39 | 289 | 2.39 | 718 | 2.39 | 4 | 2.40 | 302 | 2.39 | 255 | 2.39 | 101 | 2.39 | 103 | 2.40 | 8 | 2.40 |
36 | Multilingual Bert | 136 | 2.39 | 194 | 2.39 | 451 | 2.39 | 4 | 2.39 | 195 | 2.39 | 164 | 2.39 | 85 | 2.40 | 90 | 2.40 | 7 | 2.40 |
37 | heuristic majority | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
38 | RuGPT3Medium | 106 | 4.39 | 102 | 4.39 | 270 | 4.39 | 2 | 4.38 | 111 | 4.39 | 106 | 4.38 | 70 | 4.41 | 45 | 4.41 | 3 | 4.38 |
39 | RuGPT3Small | 176 | 2.36 | 289 | 2.37 | 872 | 2.36 | 4 | 2.38 | 319 | 2.37 | 163 | 2.36 | 105 | 2.36 | 97 | 2.38 | 8 | 2.38 |
40 | Baseline TF-IDF1.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
41 | Random weighted | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
42 | majority_class | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |