* Больше информации о том как мерить время выполнения и память смотреть здесь.
| Рейтинг | Название | LiDiRus | RCB | PARus | MuSeRC | TERRa | RUSSE | RWSD | DaNetQA | RuCoS | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Parameters | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | |
| 1 | HUMAN BENCHMARK | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 2 | FRED-T5 1.7B finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 3 | Golden Transformer v2.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 4 | YaLM p-tune (3.3B frozen + 40k trainable params) | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 5 | FRED-T5 large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 6 | RuLeanALBERT | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 7 | FRED-T5 1.7B (only encoder 760M) finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 8 | ruT5-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 9 | ruRoberta-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 10 | Golden Transformer v1.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 11 | xlm-roberta-large (Facebook) finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 12 | mdeberta-v3-base (Microsoft) finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 13 | ruT5-base finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 14 | ruBert-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 15 | ruBert-base finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 16 | YaLM 1.0B few-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 17 | RuGPT3XL few-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 18 | RuBERT plain | 165 | 2.39 | 295 | 2.39 | 1070 | 2.39 | 4 | 2.40 | 297 | 2.39 | 226 | 2.39 | 102 | 2.39 | 118 | 2.40 | 9 | 2.40 |
| 19 | SBERT_Large_mt_ru_finetuning | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 20 | SBERT_Large | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 21 | RuGPT3Large | 69 | 7.50 | 53 | 7.50 | 137 | 7.50 | 1 | 7.49 | 61 | 7.50 | 75 | 7.49 | 49 | 7.51 | 27 | 7.49 | 2 | 7.49 |
| 22 | RuBERT conversational | 171 | 2.39 | 289 | 2.39 | 718 | 2.39 | 4 | 2.40 | 302 | 2.39 | 255 | 2.39 | 101 | 2.39 | 103 | 2.40 | 8 | 2.40 |
| 23 | Multilingual Bert | 136 | 2.39 | 194 | 2.39 | 451 | 2.39 | 4 | 2.39 | 195 | 2.39 | 164 | 2.39 | 85 | 2.40 | 90 | 2.40 | 7 | 2.40 |
| 24 | heuristic majority | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 25 | RuGPT3Medium | 106 | 4.39 | 102 | 4.39 | 270 | 4.39 | 2 | 4.38 | 111 | 4.39 | 106 | 4.38 | 70 | 4.41 | 45 | 4.41 | 3 | 4.38 |
| 26 | RuGPT3Small | 176 | 2.36 | 289 | 2.37 | 872 | 2.36 | 4 | 2.38 | 319 | 2.37 | 163 | 2.36 | 105 | 2.36 | 97 | 2.38 | 8 | 2.38 |
| 27 | Baseline TF-IDF1.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 28 | Random weighted | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 29 | majority_class | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |