Task RCB

Name Identifier Type of the task Metrics License Download HB score
Russian Commitment Bank RCB Multiclass Classification Av F1/Accuracy MIT License 0.68/0.702

Description

The Russian Commitment Bank is a corpus of naturally occurring discourses whose final sentence contains a clause-embedding predicate under an entailment canceling operator (question, modal, negation, antecedent of conditional).

Task Type

RTE (Recognizing Textual Entailment) Sentence Pair Classification - Entailment - Contradiction - Neutral

Example

{
          "premise": "Сумма ущерба составила одну тысячу рублей. Уточняется, что на место происшествия выехала следственная группа, которая установила личность злоумышленника. Им оказался местный житель, ранее судимый за подобное правонарушение.",
          "hypothesis": "Ранее местный житель совершал подобное правонарушение.",
          "verb": "судить",
          "negation": "no_negation",
          "label": "entailment",
          "idx": 269
          }

How did we collect data?

All text examples were collected from open news sources and literary magazines, then manually reviewed and supplemented by a human assessment on Yandex.Toloka.

State of the Art

English CommitmentBank - Av F1/Accuracy 93.9/96.8%

Related papers