Описание

Russian Winograd Schema Dataset (RWSD или схема Винограда) - это задание, в котором в предложении выделено два текстовых фрагмента. Задача состоит в том, чтобы определить, употреблены ли они в одном смысле или в разных. Схема берет свое имя из известного примера Терри Винограда.

Корпус заданий составлен как вызов для ИИ в соответствии с тестом Тьюринга. Одним из плюсов такой постановки задания является простая форма машинного ответа, и ответы системы делают даже для неспециалистов очевидным недостаток в знаниях проблемы в понимании задания машиной.

Тип задачи¶

Логика и аргументация, знания о мире. Бинарная классификация: true/false

Пример¶

{
  "text": "Кубок не помещается в коричневый чемодан, потому что он слишком большой."
  "label": false,
  "idx": 5,
  "target": {
    "span1_text": "чемодан",
    "span2_text": "он слишком большой",
    "span1_index": 5,
    "span2_index": 8
  },
}

Как мы собирали данные? ¶

Все текстовые примеры были собраны вручную, с соответствующим переводом и адаптацией оригинальных данных Winograd для русского языка. Оценка уровня человека проводилась на Яндекс.Толоке.

State of the Art

Английский результат Схемы Винограда - точность 93.8%

Статьи по теме

• David Bender, Establishing a Human Baseline for the Winograd Schema Challenge. MAICS 2015
• Ernest Davis, Winograd Schemas and Machine Translation, arXiv:1608.01884, August 2016.
• Hector Levesque, The Winograd Schema Challenge, Commonsense-2011.
• Hector Levesque, Ernest Davis, and Leora Morgenstern, The Winograd Schema Challenge, KR-2012. An expanded version of the previous item.
• Hector Levesque, On Our Best Behaviour, IJCAI Research Excellence Award Presentation, 2013.
• Leora Morgenstern, E. Davis, and Charles Ortiz, Planning, Executing, and Evaluating the Winograd Schema Challenge, AI Magazine Spring 2016.
• Wang A. et al. Superglue: A stickier benchmark for general-purpose language understanding systems //Advances in Neural Information Processing Systems. – 2019. – С. 3261-3275.