Лидерборд

* Больше информации о том как мерить время выполнения и память смотреть здесь.

Рейтинг Название LiDiRus RCB PARus MuSeRC TERRa RUSSE RWSD DaNetQA RuCoS
Parameters Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM
1 HUMAN BENCHMARK - - - - - - - - - - - - - - - - - -
2 ruT5-large finetune - - - - - - - - - - - - - - - - - -
3 ruRoberta-large finetune - - - - - - - - - - - - - - - - - -
4 Golden Transformer - - - - - - - - - - - - - - - - - -
5 ruT5-base finetune - - - - - - - - - - - - - - - - - -
6 ruBert-large finetune - - - - - - - - - - - - - - - - - -
7 ruBert-base finetune - - - - - - - - - - - - - - - - - -
8 YaLM 1.0B few-shot - - - - - - - - - - - - - - - - - -
9 RuGPT3XL few-shot - - - - - - - - - - - - - - - - - -
10 MT5 Large - - - - - - - - - - - - - - - - - -
11 RuBERT plain 165 2.39 295 2.39 1070 2.39 4 2.40 297 2.39 226 2.39 102 2.39 118 2.40 9 2.40
12 SBERT_Large_mt_ru_finetuning - - - - - - - - - - - - - - - - - -
13 SBERT_Large - - - - - - - - - - - - - - - - - -
14 RuGPT3Large 69 7.50 53 7.50 137 7.50 1 7.49 61 7.50 75 7.49 49 7.51 27 7.49 2 7.49
15 RuBERT conversational 171 2.39 289 2.39 718 2.39 4 2.40 302 2.39 255 2.39 101 2.39 103 2.40 8 2.40
16 Multilingual Bert 136 2.39 194 2.39 451 2.39 4 2.39 195 2.39 164 2.39 85 2.40 90 2.40 7 2.40
17 heuristic majority - - - - - - - - - - - - - - - - - -
18 RuGPT3Medium 106 4.39 102 4.39 270 4.39 2 4.38 111 4.39 106 4.38 70 4.41 45 4.41 3 4.38
19 RuGPT3Small 176 2.36 289 2.37 872 2.36 4 2.38 319 2.37 163 2.36 105 2.36 97 2.38 8 2.38
20 Baseline TF-IDF1.1 - - - - - - - - - - - - - - - - - -
21 Random weighted - - - - - - - - - - - - - - - - - -
22 majority_class - - - - - - - - - - - - - - - - - -