Лидерборд

* Больше информации о том как мерить время выполнения и память смотреть здесь.

Рейтинг Название Команда Ссылка Результат LiDiRus RCB PARus MuSeRC TERRa RUSSE RWSD DaNetQA RuCoS
1 HUMAN BENCHMARK AGI NLP 0,8 0,626 0,68 / 0,702 0,982 0,806 / 0,42 0,92 0,747 0,84 0,879 0,93 / 0,89
2 RuBERT conversational AGI NLP 0,546 0,186 0,468 / 0,432 0,61 0,656 / 0,256 0,639 0,894 0,675 0,749 0,255 / 0,251
3 Multilingual BERT AGI NLP 0,542 0,157 0,425 / 0,365 0,588 0,626 / 0,253 0,62 0,84 0,675 0,79 0,371 / 0,367
4 mBART - 0,536 -0,003 0,395 / 0,288 0,528 0,477 / 0,03 0,508 0,99 0,649 0,742 0,82 / 0,816
5 Plain RuBERT DeepPavlov 0,524 -0,026 0,393 / 0,338 0,532 0,712 / 0,309 0,636 0,877 0,662 0,78 0,38 / 0,379
6 Slavic BERT DeepPavlov 0,483 -0,01 0,418 / 0,34 0,526 0,677 / 0,27 0,566 0,829 0,578 0,759 0,24 / 0,242
7 Baseline TF-IDF v1.0 AGI NLP 0,438 -0,004 0,395 / 0,288 0,522 0,477 / 0,03 0,496 0,632 0,66 0,763 0,286 / 0,28