18 ноября 2020 г. 15:36
Команда SberDevices
Ссылка на модель https://huggingface.co/sberbank-ai/rugpt3small_based_on_gpt2
| Датасет | Результат | Метрика |
|---|---|---|
| LiDiRus | -0,013 | Кор, коэффициент Мэтью |
| RCB | 0,356 / 0,473 | F1/Точность |
| PARus | 0,562 | Точность |
| MuSeRC | 0,653 / 0,221 | F1a/Em |
| TERRa | 0,488 | Точность |
| RUSSE | 0,57 | Точность |
| RWSD | 0,669 | Точность |
| DaNetQA | 0,61 | Точность |
| RuCoS | 0,21 / 0,204 | F1/EM |
https://huggingface.co/sberbank-ai/rugpt3small_based_on_gpt2
standard
| Категория | Результат |
|---|---|
| LOGIC | -0,0026653911281437344 |
| KNOWLEDGE | 0,049106419683116166 |
| PREDICATE-ARGUMENT STRUCTURE | 0,0 |
| LEXICAL SEMANTICS | -0,05036130062634135 |
| Lexical Semantics - Lexical Entailment | -0,1258455564269084 |
|---|---|
| Lexical Semantics - Morphological Negation | 0,0 |
| Lexical Semantics - Factivity | 0,0 |
| Lexical Semantics - Symmetry/Collectivity | 0,0 |
| Lexical Semantics - Redundancy | 0,0 |
| Lexical Semantics - Named Entities | 0,1690308509457033 |
| Lexical Semantics - Quantifiers | 0,0 |
| Predicate-Argument Structure Core Args | 0,0 |
| Predicate-Argument Structure Prepositional Phrases | 0,0 |
| Predicate-Argument Structure Ellipsis/Implicits | 0,0 |
| Predicate-Argument Structure Anaphora/Coreference | 0,0 |
| Predicate-Argument Structure Active/Passive | 0,0 |
| Predicate-Argument Structure Nominalization | 0,0 |
| Predicate-Argument Structure Genitives/Partitives | 0,0 |
| Predicate-Argument Structure Datives | 0,0 |
| Predicate-Argument Structure Relative Clauses | 0,0 |
| Predicate-Argument Structure Coordination Scopes | 0,0 |
| Predicate-Argument Structure Intersectivity | 0,0 |
| Predicate-Argument Structure Restrictivity | 0,0 |
| Logic Negation | 0,0 |
| Logic Double Negation | 0,0 |
| Logic Interval/Numbers | 0,0 |
| Logic Conjuction | 0,0 |
| Logic Disjunction | 0,0 |
| Logic Conditionals | 0,0 |
| Logic Universal | 0,0 |
| Logic Existential | 0,0 |
| Logic Temporal | -0,007053982594841415 |
| Logic Upward Monotone | 0,0 |
| Logic Downward Monotone | 0,0 |
| Logic Non-Monotonic | 0,0 |
| Knowledge Common Sense | 0,0 |
| Knowledge World Knowledge | 0,04764016705577461 |
| Датасет | Speed | RAM |
|---|---|---|
| LiDiRus | 176 | 2.36 |
| RCB | 289 | 2.37 |
| PARus | 872 | 2.36 |
| MuSeRC | 4 | 2.38 |
| TERRa | 319 | 2.37 |
| RUSSE | 163 | 2.36 |
| RWSD | 105 | 2.36 |
| DaNetQA | 97 | 2.38 |
| RuCoS | 8 | 2.38 |