5 марта 2021 г. 7:42
Команда Avengers Ensemble
Ссылка на модель https://github.com/neverix/avengers-ensemble
| Датасет | Результат | Метрика |
|---|---|---|
| LiDiRus | 0,0 | Кор, коэффициент Мэтью |
| RCB | 0,406 / 0,546 | F1/Точность |
| PARus | 0,908 | Точность |
| MuSeRC | 0,941 / 0,819 | F1a/Em |
| TERRa | 0,871 | Точность |
| RUSSE | 0,587 | Точность |
| RWSD | 0,545 | Точность |
| DaNetQA | 0,917 | Точность |
| RuCoS | 0,92 / 0,924 | F1/EM |
Решение - это ансамбль трансформеров. Тренируется много моделей, из них получаются вероятности и подаются в CatBoost. Один и тот же подход используется для всех задач, но больше всего моделей в RuCoS, DaNetQA, TERRA, MuSeRC и PARus. Для LiDiRus нет решения, потому что используется ансамбль.
| Категория | Результат |
|---|---|
| LOGIC | |
| KNOWLEDGE | |
| PREDICATE-ARGUMENT STRUCTURE | |
| LEXICAL SEMANTICS |
| Lexical Semantics - Lexical Entailment | |
|---|---|
| Lexical Semantics - Morphological Negation | |
| Lexical Semantics - Factivity | |
| Lexical Semantics - Symmetry/Collectivity | |
| Lexical Semantics - Redundancy | |
| Lexical Semantics - Named Entities | |
| Lexical Semantics - Quantifiers | |
| Predicate-Argument Structure Core Args | |
| Predicate-Argument Structure Prepositional Phrases | |
| Predicate-Argument Structure Ellipsis/Implicits | |
| Predicate-Argument Structure Anaphora/Coreference | |
| Predicate-Argument Structure Active/Passive | |
| Predicate-Argument Structure Nominalization | |
| Predicate-Argument Structure Genitives/Partitives | |
| Predicate-Argument Structure Datives | |
| Predicate-Argument Structure Relative Clauses | |
| Predicate-Argument Structure Coordination Scopes | |
| Predicate-Argument Structure Intersectivity | |
| Predicate-Argument Structure Restrictivity | |
| Logic Negation | |
| Logic Double Negation | |
| Logic Interval/Numbers | |
| Logic Conjuction | |
| Logic Disjunction | |
| Logic Conditionals | |
| Logic Universal | |
| Logic Existential | |
| Logic Temporal | |
| Logic Upward Monotone | |
| Logic Downward Monotone | |
| Logic Non-Monotonic | |
| Knowledge Common Sense | |
| Knowledge World Knowledge |
| Датасет | Speed | RAM |
|---|---|---|
| LiDiRus | - | - |
| RCB | - | - |
| PARus | - | - |
| MuSeRC | - | - |
| TERRa | - | - |
| RUSSE | - | - |
| RWSD | - | - |
| DaNetQA | - | - |
| RuCoS | - | - |