Задача DaNetQA

Название Идентификатор Тип задания Метрика Лицензия Скачать Результат HB
Russian DaNetQA DaNetQA Бинарная классификация Accuracy MIT License 0.915

Описание

Причинно-следственная связь, логический вывод, Natural Language Inference

DaNetQA - это набор да/нет вопросов с ответами и фрагментом текста, содержащим ответ. Все вопросы были написаны авторами без каких-либо искусственных ограничений.

Каждый пример представляет собой триплет (вопрос, фрагмент текста, ответ) с заголовком страницы в качестве необязательного дополнительного контекста.

Настройка классификации текстовых пар аналогична существующим задачам логического вывода (NLI)

Тип задачи

Логика, Commonsense, Знания о мире. Бинарная классификация: true/false

Пример


{
  "text": "В период с 1969 по 1972 год по программе «Аполлон» было выполнено 6 полётов с посадкой на Луне. Всего на Луне высаживались 12 астронавтов США. Список космонавтов Список космонавтов — участников орбитальных космических полётов Список астронавтов США — участников орбитальных космических полётов Список космонавтов СССР и России — участников космических полётов Список женщин-космонавтов Список космонавтов, посещавших МКС Энциклопедия астронавтики.",
  "question": "Был ли человек на луне?",
  "label": true,
  "idx": 5
}

Как мы собирали данные?

Все текстовые примеры были собраны вручную, с соответствии с методологией сбора оригинального датасета. Ответы на вопросы были получены с помощью асессоров, а тексты получены автоматически с использованием вопросно-ответных систем на Википедии. Оценка уровня человека проводилась на Яндекс.Толоке.

* Мы добавили дополнительные данные для увелечения размера датасета и распределения ответов да/нет. Данные были собраны в Яндекс.Толоке в процессе создания MuSeRC датасета.

State of the Art

Английский BoolQ - Точность 91.2%

Статьи по теме