Новый сабмит Golden Transformer

5 марта 2021 г. 7:42

Команда Avengers Ensemble

Ссылка на модель https://github.com/neverix/avengers-ensemble


Результат бейзлайна: 0,679

Датасет Результат Метрика
LiDiRus 0,0 Кор, коэффициент Мэтью
RCB 0,406 / 0,546 F1/Точность
PARus 0,908 Точность
MuSeRC 0,941 / 0,819 F1a/Em
TERRa 0,871 Точность
RUSSE 0,587 Точность
RWSD 0,545 Точность
DaNetQA 0,917 Точность
RuCoS 0,92 / 0,924 F1/EM
Описание модели:

Решение - это ансамбль трансформеров. Тренируется много моделей, из них получаются вероятности и подаются в CatBoost. Один и тот же подход используется для всех задач, но больше всего моделей в RuCoS, DaNetQA, TERRA, MuSeRC и PARus. Для LiDiRus нет решения, потому что используется ансамбль.


Описание параметров:

Диагностика: 0,0

Категория Результат
LOGIC
KNOWLEDGE
PREDICATE-ARGUMENT STRUCTURE
LEXICAL SEMANTICS
Lexical Semantics - Lexical Entailment
Lexical Semantics - Morphological Negation
Lexical Semantics - Factivity
Lexical Semantics - Symmetry/Collectivity
Lexical Semantics - Redundancy
Lexical Semantics - Named Entities
Lexical Semantics - Quantifiers
Predicate-Argument Structure Core Args
Predicate-Argument Structure Prepositional Phrases
Predicate-Argument Structure Ellipsis/Implicits
Predicate-Argument Structure Anaphora/Coreference
Predicate-Argument Structure Active/Passive
Predicate-Argument Structure Nominalization
Predicate-Argument Structure Genitives/Partitives
Predicate-Argument Structure Datives
Predicate-Argument Structure Relative Clauses
Predicate-Argument Structure Coordination Scopes
Predicate-Argument Structure Intersectivity
Predicate-Argument Structure Restrictivity
Logic Negation
Logic Double Negation
Logic Interval/Numbers
Logic Conjuction
Logic Disjunction
Logic Conditionals
Logic Universal
Logic Existential
Logic Temporal
Logic Upward Monotone
Logic Downward Monotone
Logic Non-Monotonic
Knowledge Common Sense
Knowledge World Knowledge

Производительность:

Датасет Speed RAM
LiDiRus - -
RCB - -
PARus - -
MuSeRC - -
TERRa - -
RUSSE - -
RWSD - -
DaNetQA - -
RuCoS - -