| Название | Идентификатор | Тип задания | Метрика | Лицензия | Скачать | Результат HB |
|---|---|---|---|---|---|---|
| Choice of Plausible Alternatives for Russian language | PARus | Бинарная классификация | Accuracy | MIT License | 0.982 |
«Выбор вероятных альтернатив» (Choice of Plausible Alternatives for Russian language (PARus)) предоставляет исследователям инструмент для оценки прогресса в задаче причинно-следственных рассуждений с учетом здравого смысла (commonsense causal reasoning), на общетематических данных. Каждый вопрос в PARus состоит из предпосылки и двух альтернатив, где задача состоит в том, чтобы выбрать альтернативу, которая более вероятно имеет причинно-следственную связь с предпосылкой. Правильная альтернатива рандомизирована, так что ожидаемая эффективность случайного угадывания составляет 50%.
Оценка commonsense causal reasoning
Классификация пар предложений - выбор лучшего варианта из 2
{
"premise": "Гости вечеринки прятались за диваном.",
"choice1": "Это была вечеринка-сюрприз.",
"choice2":"Это был день рождения.",
"question": "cause",
"label": 0,
"idx": 4
}Все примеры были собраны из открытых новостных источников и литературных журналов, затем вручную перепроверены и дополнены человеческой оценкой на Yandex.Toloka
Пожалуйста, будьте внимательны! PArsed RUssian Sentences это другой датасет (морфологически и синтаксически аннотированный корпус предложений русского литературного языка ), он не является частью Russian SuperGLUE.
Английская COPA - Точность: 94.8%
See also: SemEval 2012 Task 7 COPA was used a shared task (Task 7) in the 6th International Workshop on Semantic Evaluation (SemEval 2012). The winning system was created by Travis Goodwin, Bryan Rink, Kirk Roberts, and Sanda M. Harabagiu from the University of Texas at Dallas, Human Language Technology Research Institute. Details about this shared task and the performance of competing systems are provided in the following paper:
Gordon, A., Kozareva, Z., and Roemmele, M. (2012) SemEval-2012 Task 7: Choice of Plausible Alternatives: An Evaluation of Commonsense Causal Reasoning. Proceedings of the 6th International Workshop on Semantic Evaluation (SemEval 2012), June 7-8, 2012, Montreal, Canada.