Описание

Russian Commitment Bank - это набор из естественных контекстов, в предложениях которых содержится или отсутствует причинно-следственная связь, а также размечены дополнительные дискурсивные характеристики - вопрос, модальность, отрицание предшествующих условий.

Тип задачи¶

RTE (Recognizing Textual Entailment) классификация пары предложений, лейблы: Entailment - Contradiction - Neutral

Пример¶

{
          "premise": "Сумма ущерба составила одну тысячу рублей. Уточняется, что на место происшествия выехала следственная группа, которая установила личность злоумышленника. Им оказался местный житель, ранее судимый за подобное правонарушение.",
          "hypothesis": "Ранее местный житель совершал подобное правонарушение.",
          "verb": "судить",
          "negation": "no_negation",
          "label": "entailment",
          "idx": 269
          }

Как мы собирали данные? ¶

Все примеры были собраны из открытых новостных источников и литературных журналов, затем вручную перепроверены и дополнены человеческой оценкой на Yandex.Toloka

State of the Art

Английский CommitmentBank - Av F1/Accuracy 93.9/96.8%

Статьи по теме

• Оригинальная статья CommitmentBank: Marie-Catherine de Marneffe, Mandy Simons, and Judith Tonhauser (2019). The CommitmentBank: Investigating projection in naturally occurring discourse. Proceedings of Sinn und Bedeutung 23.
• Wang A. et al. Superglue: A stickier benchmark for general-purpose language understanding systems //Advances in Neural Information Processing Systems. – 2019. – С. 3261-3275.