Leaderboard

* More information about speed scores and RAM are available here.

Rank Name LiDiRus RCB PARus MuSeRC TERRa RUSSE RWSD DaNetQA RuCoS
Parameters Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM
1 HUMAN BENCHMARK - - - - - - - - - - - - - - - - - -
2 ruRoberta-large finetune - - - - - - - - - - - - - - - - - -
3 Golden Transformer - - - - - - - - - - - - - - - - - -
4 ruT5-large-finetune - - - - - - - - - - - - - - - - - -
5 ruBert-large finetune - - - - - - - - - - - - - - - - - -
6 ruT5-base-finetune - - - - - - - - - - - - - - - - - -
7 ruBert-base finetune - - - - - - - - - - - - - - - - - -
8 YaLM 1.0B few-shot - - - - - - - - - - - - - - - - - -
9 RuGPT3XL few-shot - - - - - - - - - - - - - - - - - -
10 MT5 Large - - - - - - - - - - - - - - - - - -
11 RuBERT plain 165 2.39 295 2.39 1070 2.39 4 2.40 297 2.39 226 2.39 102 2.39 118 2.40 9 2.40
12 SBERT_Large_mt_ru_finetuning - - - - - - - - - - - - - - - - - -
13 SBERT_Large - - - - - - - - - - - - - - - - - -
14 RuGPT3Large 69 7.50 53 7.50 137 7.50 1 7.49 61 7.50 75 7.49 49 7.51 27 7.49 2 7.49
15 RuBERT conversational 171 2.39 289 2.39 718 2.39 4 2.40 302 2.39 255 2.39 101 2.39 103 2.40 8 2.40
16 Multilingual Bert 136 2.39 194 2.39 451 2.39 4 2.39 195 2.39 164 2.39 85 2.40 90 2.40 7 2.40
17 heuristic majority - - - - - - - - - - - - - - - - - -
18 RuGPT3Medium 106 4.39 102 4.39 270 4.39 2 4.38 111 4.39 106 4.38 70 4.41 45 4.41 3 4.38
19 RuGPT3Small 176 2.36 289 2.37 872 2.36 4 2.38 319 2.37 163 2.36 105 2.36 97 2.38 8 2.38
20 Baseline TF-IDF1.1 - - - - - - - - - - - - - - - - - -
21 Random weighted - - - - - - - - - - - - - - - - - -
22 majority_class - - - - - - - - - - - - - - - - - -