Путеводитель по RussianSUPERGLUE

Скачать все
  • Скачайте все данные из раздела Задания
  • Исследуйте данные. На сайте описана информация по созданию датасетов, смотрите также наши публикации по конкретным датасетам.
  • Если вы нашли ошибки, или у вас появились пожелания и предложения, напишите нам. Например, на почту russiansuperglue@gmail.com
Next
Обучите модель

Если вы не знаете с чего начать, посмотрите наш jupyther notebook как использовать уже обученную в jiant модель?
Вы можете обучать свою модель как угодно, но будьте аккуратны с выходными данными!

  • Используйте те же самые ID и лейблы в тестовом сете для каждого из заданий в ваших файлах с ответами. Каждая строка в сгенерированном JSONL (не JSON!) должна соответствовать изначальному файлу, иначе Вы не сможете правильно сматчить idx, и результат оценки будет некорректный.
  • Проверьте, что все файлы с вашими результатами в JSONL названы следующим образом:
    • DaNetQA: DaNetQA.jsonl
    • RCB: RCB.jsonl
    • PARus: PARus.jsonl
    • MuSeRC: MuSeRC.jsonl
    • RuCoS: RuCoS.jsonl
    • TERRa: TERRa.jsonl
    • Russian words in Context: RUSSE.jsonl
    • Russian Winograd Schema: RWSD.jsonl
    • Broad Coverage Diagnostics: LiDiRus.jsonl
  • Вы можете загрузить неполный zip архив. В этом случае оценка посчитается только по загруженным заданиям.
Next
Зарегистрируйтесь на нашем сайте!

Нажмите на "Логин" ссылку в правом углу экрана.

  • Если у вас уже есть аккаунт - пожалуйста, залогиньтесь. Если вы в первый раз на нашем сайте - нажмите на кнопку "Зарегистрироваться".
    Мы спрашиваем только имя и эмейл. Вы можете зарегистрироваться анонимно.
  • После регистрации откроется ваша личная страница с сабмитами.
    Вы сможете загружать новые сабмиты, удалять старые, редактировать их. С этой страницы вы также сможете отправить заявку на публикацию сабмита в лидерборде.
Next
Загрузите лучший сабмит!
  • На персональной странице нажмите на + .
  • В появившейся форме заполнимте информацию по сабмиту.
    • Обязательны лишь несколько полей.
    • Заполните все поля, если хотите отправить сабмит на лидерборд. Наша команда должна проверить сабмит перед публикацией.
  • Если с сабмитом что-то не так - вы увидите страницу с ошибками.
  • Вы можете загрузить до пяти сабмитов в день и до 20 в месяц
  • A sample submission in the required format is available здесь.
Next
Вы первый на лидерборде!

Наши поздравления. Если вы всё ещё не в топе - удачи! Самое время засабмитить лучшую модель и стать первым!

Next