Новый сабмит RuGPT3Small

18 ноября 2020 г. 15:36

Команда SberDevices

Ссылка на модель https://huggingface.co/sberbank-ai/rugpt3small_based_on_gpt2


Результат бейзлайна: 0,438

Датасет Результат Метрика
LiDiRus -0,013 Кор, коэффициент Мэтью
RCB 0,356 / 0,473 F1/Точность
PARus 0,562 Точность
MuSeRC 0,653 / 0,221 F1a/Em
TERRa 0,488 Точность
RUSSE 0,57 Точность
RWSD 0,669 Точность
DaNetQA 0,61 Точность
RuCoS 0,21 / 0,204 F1/EM
Описание модели:

https://huggingface.co/sberbank-ai/rugpt3small_based_on_gpt2


Описание параметров:

standard

Диагностика: -0,013

Категория Результат
LOGIC -0,0026653911281437344
KNOWLEDGE 0,049106419683116166
PREDICATE-ARGUMENT STRUCTURE 0,0
LEXICAL SEMANTICS -0,05036130062634135
Lexical Semantics - Lexical Entailment -0,1258455564269084
Lexical Semantics - Morphological Negation 0,0
Lexical Semantics - Factivity 0,0
Lexical Semantics - Symmetry/Collectivity 0,0
Lexical Semantics - Redundancy 0,0
Lexical Semantics - Named Entities 0,1690308509457033
Lexical Semantics - Quantifiers 0,0
Predicate-Argument Structure Core Args 0,0
Predicate-Argument Structure Prepositional Phrases 0,0
Predicate-Argument Structure Ellipsis/Implicits 0,0
Predicate-Argument Structure Anaphora/Coreference 0,0
Predicate-Argument Structure Active/Passive 0,0
Predicate-Argument Structure Nominalization 0,0
Predicate-Argument Structure Genitives/Partitives 0,0
Predicate-Argument Structure Datives 0,0
Predicate-Argument Structure Relative Clauses 0,0
Predicate-Argument Structure Coordination Scopes 0,0
Predicate-Argument Structure Intersectivity 0,0
Predicate-Argument Structure Restrictivity 0,0
Logic Negation 0,0
Logic Double Negation 0,0
Logic Interval/Numbers 0,0
Logic Conjuction 0,0
Logic Disjunction 0,0
Logic Conditionals 0,0
Logic Universal 0,0
Logic Existential 0,0
Logic Temporal -0,007053982594841415
Logic Upward Monotone 0,0
Logic Downward Monotone 0,0
Logic Non-Monotonic 0,0
Knowledge Common Sense 0,0
Knowledge World Knowledge 0,04764016705577461

Производительность:

Датасет Speed RAM
LiDiRus 176 2.36
RCB 289 2.37
PARus 872 2.36
MuSeRC 4 2.38
TERRa 319 2.37
RUSSE 163 2.36
RWSD 105 2.36
DaNetQA 97 2.38
RuCoS 8 2.38