Добро пожаловать! Попробуй Russian SuperGLUE!

Современные языковые модели, такие как BERT, ELMo, XLNet, RoBERTa и другие — нуждаются в сравнении и оценке.


Мы предлагаем методологию тестирования, основанную на тестах для сильного ИИ — логике, здравом смысле, целеполагании в приложении к языковым данным. Придерживаясь методологии GLUE и SuperGLUE, мы представляем набор тестовых заданий на General Language Understanding и лидерборд моделей.


Это первый раз, когда полный тест аналогичный английскому разработан для русского языка — многие датасеты составлены впервые, а также представлен лидерборд моделей для русского языка с сопоставимыми результатами.