Задача LiDiRus

Название Идентификатор Тип задания Метрика Лицензия Скачать Результат HB
Diagnostic LiDiRus Классификация Matthews Corr MIT License 0.626

Описание

LiDiRus - диагностический набор данных, который охватывает большой объем лингвистических явлений, при этом позволяя оценить информационные системы на простом тесте распознавания причинно-следственной связи. Более подробно см описание диагностики

Тип задачи

RTE (Recognizing Textual Entailment) классификация пары предложений - Entailment - Not Entailment

Пример

{
     'sentence1': "Кошка сидела на коврике.",
     'sentence2': "Кошка не сидела на коврике.",
     'label': 'not_entailment',
     'knowledge': '',
     'lexical-semantics': '',
     'logic': 'Negation',
     'predicate-argument-structure': ''
    }

Как мы собирали данные?

Все примеры были вручную переведены и адаптированы для русского языка на основе English SuperGLUE Diagnostics.

Смотрите также:

RTE соревнование (ACL)

State of the Art

Английская Диагностика - Коэффициент Мэттью 65.6%

Статьи по теме