* Больше информации о том как мерить время выполнения и память смотреть здесь.
Рейтинг | Название | LiDiRus | RCB | PARus | MuSeRC | TERRa | RUSSE | RWSD | DaNetQA | RuCoS | |||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Parameters | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | Speed | RAM | |
1 | HUMAN BENCHMARK | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
2 | Golden Transformer v2.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
3 | YaLM p-tune (3.3B frozen + 40k trainable params) | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
4 | ruT5-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
5 | ruRoberta-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
6 | Golden Transformer v1.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
7 | ruT5-base finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
8 | ruBert-large finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
9 | ruBert-base finetune | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
10 | YaLM 1.0B few-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
11 | RuGPT3XL few-shot | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
12 | RuBERT plain | 165 | 2.39 | 295 | 2.39 | 1070 | 2.39 | 4 | 2.40 | 297 | 2.39 | 226 | 2.39 | 102 | 2.39 | 118 | 2.40 | 9 | 2.40 |
13 | SBERT_Large_mt_ru_finetuning | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
14 | SBERT_Large | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
15 | RuGPT3Large | 69 | 7.50 | 53 | 7.50 | 137 | 7.50 | 1 | 7.49 | 61 | 7.50 | 75 | 7.49 | 49 | 7.51 | 27 | 7.49 | 2 | 7.49 |
16 | RuBERT conversational | 171 | 2.39 | 289 | 2.39 | 718 | 2.39 | 4 | 2.40 | 302 | 2.39 | 255 | 2.39 | 101 | 2.39 | 103 | 2.40 | 8 | 2.40 |
17 | Multilingual Bert | 136 | 2.39 | 194 | 2.39 | 451 | 2.39 | 4 | 2.39 | 195 | 2.39 | 164 | 2.39 | 85 | 2.40 | 90 | 2.40 | 7 | 2.40 |
18 | heuristic majority | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
19 | RuGPT3Medium | 106 | 4.39 | 102 | 4.39 | 270 | 4.39 | 2 | 4.38 | 111 | 4.39 | 106 | 4.38 | 70 | 4.41 | 45 | 4.41 | 3 | 4.38 |
20 | RuGPT3Small | 176 | 2.36 | 289 | 2.37 | 872 | 2.36 | 4 | 2.38 | 319 | 2.37 | 163 | 2.36 | 105 | 2.36 | 97 | 2.38 | 8 | 2.38 |
21 | Baseline TF-IDF1.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
22 | Random weighted | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
23 | majority_class | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |