* Больше информации о том как мерить время выполнения и память смотреть здесь.
Рейтинг | Название | LiDiRus | RCB | PARus | MuSeRC | TERRa | RUSSE | RWSD | DaNetQA | RuCoS | |||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Parameters | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | |
1 | HUMAN BENCHMARK | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
2 | FRED-T5 1.7B finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
3 | Golden Transformer v2.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
4 | YaLM p-tune (3.3B frozen + 40k trainable params) | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
5 | FRED-T5 large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
6 | RuLeanALBERT | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
7 | FRED-T5 1.7B (only encoder 760M) finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
8 | ruT5-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
9 | ruRoberta-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
10 | Golden Transformer v1.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
11 | xlm-roberta-large (Facebook) finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
12 | mdeberta-v3-base (Microsoft) finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
13 | ruT5-base finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
14 | ruBert-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
15 | ruBert-base finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
16 | YaLM 1.0B few-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
17 | RuGPT3XL few-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
18 | RuBERT plain | 165 | 2.39 | 295 | 2.39 | 1070 | 2.39 | 4 | 2.40 | 297 | 2.39 | 226 | 2.39 | 102 | 2.39 | 118 | 2.40 | 9 | 2.40 |
19 | SBERT_Large_mt_ru_finetuning | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
20 | SBERT_Large | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
21 | RuGPT3Large | 69 | 7.50 | 53 | 7.50 | 137 | 7.50 | 1 | 7.49 | 61 | 7.50 | 75 | 7.49 | 49 | 7.51 | 27 | 7.49 | 2 | 7.49 |
22 | RuBERT conversational | 171 | 2.39 | 289 | 2.39 | 718 | 2.39 | 4 | 2.40 | 302 | 2.39 | 255 | 2.39 | 101 | 2.39 | 103 | 2.40 | 8 | 2.40 |
23 | Multilingual Bert | 136 | 2.39 | 194 | 2.39 | 451 | 2.39 | 4 | 2.39 | 195 | 2.39 | 164 | 2.39 | 85 | 2.40 | 90 | 2.40 | 7 | 2.40 |
24 | heuristic majority | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
25 | RuGPT3Medium | 106 | 4.39 | 102 | 4.39 | 270 | 4.39 | 2 | 4.38 | 111 | 4.39 | 106 | 4.38 | 70 | 4.41 | 45 | 4.41 | 3 | 4.38 |
26 | RuGPT3Small | 176 | 2.36 | 289 | 2.37 | 872 | 2.36 | 4 | 2.38 | 319 | 2.37 | 163 | 2.36 | 105 | 2.36 | 97 | 2.38 | 8 | 2.38 |
27 | Baseline TF-IDF1.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
28 | Random weighted | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
29 | majority_class | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |