Лидерборд

* Больше информации о том как мерить время выполнения и память смотреть здесь.

Рейтинг Название LiDiRus RCB PARus MuSeRC TERRa RUSSE RWSD DaNetQA RuCoS
Parameters Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM Speed RAM
1 HUMAN BENCHMARK - - - - - - - - - - - - - - - - - -
2 ruadapt Solar 10.7 twostage - - - - - - - - - - - - - - - - - -
3 Mistral 7B LoRA - - - - - - - - - - - - - - - - - -
4 FRED-T5 1.7B finetune - - - - - - - - - - - - - - - - - -
5 Golden Transformer v2.0 - - - - - - - - - - - - - - - - - -
6 LLaMA-2 13B LoRA - - - - - - - - - - - - - - - - - -
7 Saiga 13B LoRA - - - - - - - - - - - - - - - - - -
8 YaLM p-tune (3.3B frozen + 40k trainable params) - - - - - - - - - - - - - - - - - -
9 ruadapt LLaMA-2 7B LoRA - - - - - - - - - - - - - - - - - -
10 FRED-T5 large finetune - - - - - - - - - - - - - - - - - -
11 RuLeanALBERT - - - - - - - - - - - - - - - - - -
12 FRED-T5 1.7B (only encoder 760M) finetune - - - - - - - - - - - - - - - - - -
13 ruT5-large finetune - - - - - - - - - - - - - - - - - -
14 ruRoberta-large finetune - - - - - - - - - - - - - - - - - -
15 gpt-3.5-turbo zero-shot - - - - - - - - - - - - - - - - - -
16 Golden Transformer v1.0 - - - - - - - - - - - - - - - - - -
17 xlm-roberta-large (Facebook) finetune - - - - - - - - - - - - - - - - - -
18 mdeberta-v3-base (Microsoft) finetune - - - - - - - - - - - - - - - - - -
19 Saiga2 70B zero-shot - - - - - - - - - - - - - - - - - -
20 Saiga Mistral 7B zero-shot - - - - - - - - - - - - - - - - - -
21 ruT5-base finetune - - - - - - - - - - - - - - - - - -
22 ruBert-large finetune - - - - - - - - - - - - - - - - - -
23 ruBert-base finetune - - - - - - - - - - - - - - - - - -
24 YaLM 1.0B few-shot - - - - - - - - - - - - - - - - - -
25 Qwen 14B saiga zero-shot - - - - - - - - - - - - - - - - - -
26 Saiga 13B zero-shot - - - - - - - - - - - - - - - - - -
27 RuGPT3XL few-shot - - - - - - - - - - - - - - - - - -
28 ruElectra-medium finetune - - - - - - - - - - - - - - - - - -
29 ruElectra-large finetune - - - - - - - - - - - - - - - - - -
30 RuBERT plain 165 2.39 295 2.39 1070 2.39 4 2.40 297 2.39 226 2.39 102 2.39 118 2.40 9 2.40
31 Qwen 7B saiga zero-shot - - - - - - - - - - - - - - - - - -
32 SBERT_Large_mt_ru_finetuning - - - - - - - - - - - - - - - - - -
33 SBERT_Large - - - - - - - - - - - - - - - - - -
34 Qwen 4B saiga zero-shot - - - - - - - - - - - - - - - - - -
35 ruElectra-small finetune - - - - - - - - - - - - - - - - - -
36 RuGPT3Large 69 7.50 53 7.50 137 7.50 1 7.49 61 7.50 75 7.49 49 7.51 27 7.49 2 7.49
37 RuBERT conversational 171 2.39 289 2.39 718 2.39 4 2.40 302 2.39 255 2.39 101 2.39 103 2.40 8 2.40
38 Multilingual Bert 136 2.39 194 2.39 451 2.39 4 2.39 195 2.39 164 2.39 85 2.40 90 2.40 7 2.40
39 heuristic majority - - - - - - - - - - - - - - - - - -
40 RuGPT3Medium 106 4.39 102 4.39 270 4.39 2 4.38 111 4.39 106 4.38 70 4.41 45 4.41 3 4.38
41 RuGPT3Small 176 2.36 289 2.37 872 2.36 4 2.38 319 2.37 163 2.36 105 2.36 97 2.38 8 2.38
42 Baseline TF-IDF1.1 - - - - - - - - - - - - - - - - - -
43 Random weighted - - - - - - - - - - - - - - - - - -
44 majority_class - - - - - - - - - - - - - - - - - -