• Скачайте все данные из раздела Задания
• Исследуйте данные. На сайте описана информация по созданию датасетов, смотрите также наши публикации по конкретным датасетам.
• Если вы нашли ошибки, или у вас появились пожелания и предложения, напишите нам. Например, на почту russiansuperglue@gmail.com

Если вы не знаете с чего начать, посмотрите наш jupyther notebook как использовать уже обученную в jiant модель?
Вы можете обучать свою модель как угодно, но будьте аккуратны с выходными данными!

• Используйте те же самые ID и лейблы в тестовом сете для каждого из заданий в ваших файлах с ответами. Каждая строка в сгенерированном JSONL (не JSON!) должна соответствовать изначальному файлу, иначе Вы не сможете правильно сматчить idx, и результат оценки будет некорректный.
• Проверьте, что все файлы с вашими результатами в JSONL названы следующим образом:
• DaNetQA: DaNetQA.jsonl
• RCB: RCB.jsonl
• PARus: PARus.jsonl
• MuSeRC: MuSeRC.jsonl
• RuCoS: RuCoS.jsonl
• TERRa: TERRa.jsonl
• Russian words in Context: RUSSE.jsonl
• Russian Winograd Schema: RWSD.jsonl
• Broad Coverage Diagnostics: LiDiRus.jsonl
• Вы можете загрузить неполный zip архив. В этом случае оценка посчитается только по загруженным заданиям.

Нажмите на "Логин" ссылку в правом углу экрана.

• Если у вас уже есть аккаунт - пожалуйста, залогиньтесь. Если вы в первый раз на нашем сайте - нажмите на кнопку "Зарегистрироваться".
  Мы спрашиваем только имя и эмейл. Вы можете зарегистрироваться анонимно.
• После регистрации откроется ваша личная страница с сабмитами.
  Вы сможете загружать новые сабмиты, удалять старые, редактировать их. С этой страницы вы также сможете отправить заявку на публикацию сабмита в лидерборде.

• На персональной странице нажмите на + .
• В появившейся форме заполнимте информацию по сабмиту.
• Обязательны лишь несколько полей.
• Заполните все поля, если хотите отправить сабмит на лидерборд. Наша команда должна проверить сабмит перед публикацией.
• Если с сабмитом что-то не так - вы увидите страницу с ошибками.
• Вы можете загрузить до десяти сабмитов в день.
• Пример корректного форматирования сабмишена доступен здесь.

Наши поздравления. Если вы всё ещё не в топе - удачи! Самое время засабмитить лучшую модель и стать первым!