Лидерборд

* Больше информации о том как мерить время выполнения и память смотреть здесь.

Рейтинг Название LiDiRus RCB PARus MuSeRC TERRa RUSSE RWSD DaNetQA RuCoS
Parameters Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM
1 HUMAN BENCHMARK - - - - - - - - - - - - - - - - - -
2 Golden Transformer v2.0 - - - - - - - - - - - - - - - - - -
3 YaLM p-tune (3.3B frozen + 40k trainable params) - - - - - - - - - - - - - - - - - -
4 ruT5-large finetune - - - - - - - - - - - - - - - - - -
5 ruRoberta-large finetune - - - - - - - - - - - - - - - - - -
6 Golden Transformer v1.0 - - - - - - - - - - - - - - - - - -
7 ruT5-base finetune - - - - - - - - - - - - - - - - - -
8 ruBert-large finetune - - - - - - - - - - - - - - - - - -
9 ruBert-base finetune - - - - - - - - - - - - - - - - - -
10 YaLM 1.0B few-shot - - - - - - - - - - - - - - - - - -
11 RuGPT3XL few-shot - - - - - - - - - - - - - - - - - -
12 RuBERT plain 165 2.39 295 2.39 1070 2.39 4 2.40 297 2.39 226 2.39 102 2.39 118 2.40 9 2.40
13 SBERT_Large_mt_ru_finetuning - - - - - - - - - - - - - - - - - -
14 SBERT_Large - - - - - - - - - - - - - - - - - -
15 RuGPT3Large 69 7.50 53 7.50 137 7.50 1 7.49 61 7.50 75 7.49 49 7.51 27 7.49 2 7.49
16 RuBERT conversational 171 2.39 289 2.39 718 2.39 4 2.40 302 2.39 255 2.39 101 2.39 103 2.40 8 2.40
17 Multilingual Bert 136 2.39 194 2.39 451 2.39 4 2.39 195 2.39 164 2.39 85 2.40 90 2.40 7 2.40
18 heuristic majority - - - - - - - - - - - - - - - - - -
19 RuGPT3Medium 106 4.39 102 4.39 270 4.39 2 4.38 111 4.39 106 4.38 70 4.41 45 4.41 3 4.38
20 RuGPT3Small 176 2.36 289 2.37 872 2.36 4 2.38 319 2.37 163 2.36 105 2.36 97 2.38 8 2.38
21 Baseline TF-IDF1.1 - - - - - - - - - - - - - - - - - -
22 Random weighted - - - - - - - - - - - - - - - - - -
23 majority_class - - - - - - - - - - - - - - - - - -