Задача TERRa

Название Идентификатор Тип задания Метрика Лицензия Скачать Результат HB
Textual Entailment Recognition for Russian TERRa Бинарная классификация Accuracy MIT License 0.92

Описание

Recognizing Textual Entailment - общая задача, которая охватывает основные потребности семантического вывода во многих приложениях NLP, таких как вопросно-ответные системы, информационный поиск, извлечение информации, суммаризация. Эта задача требует понимания, является ли значение одного текста вытекающим (может быть выведено) из другого текста в данной паре.

Тип задачи

RTE (Recognizing Textual Entailment) классификация пары предложений - Entailment - Not Entailment

Пример


{
  "premise": "Автор поста написал в комментарии, что прорвалась канализация.",
  "hypothesis": "Автор поста написал про канализацию.",
  "label": "entailment",
  "idx": "6062"
}

Как мы собирали данные?

Все примеры были собраны из открытых новостных источников и литературных журналов, затем вручную перепроверены и дополнены человеческой оценкой на Yandex.Toloka

RTE соревнование (ACL)

State of the Art

Английский RTE - Точность: 92.5%

Статьи по теме