Добро пожаловать! Испытайте Russian SuperGLUE!

Современные языковые модели, такие как BERT, ELMo, XLNet, RoBERTa и другие — нуждаются в сравнении и оценке.


Мы предлагаем методологию тестирования, основанную на тестах для сильного ИИ — логике, здравом смысле, целеполагании в приложении к языковым данным. Придерживаясь методологии GLUE и SuperGLUE, мы представляем набор тестовых заданий на General Language Understanding и лидерборд моделей.


Впервые полный тест, аналогичный англоязычному бенчмарку, разработан для русского языка, многие датасеты составлены с нуля. Также впервые представлен лидерборд моделей для русского языка с сопоставимыми результатами.

Наши доклады и публикации

video
video
video

Наша команда

Tanya

Татьяна Шаврина

rybolos@gmail.com

Татьяна является аспирантом ВШЭ и является главой R&D подразделения NLP при Сбербанке.Основные работы в сфере создания корпусов и универсальных трансформеров. Татьяна также является организатором соревнований по оценке систем (морфологии, исправления опечаток и т.д.)

Alenusch

Алена Феногенова

alenush93@gmail.com

Закончила бакалавриат и магистратуру НИУ ВШЭ по направлению Компьютерная лингвистика. Сейчас Алена работает в Сбербанке в подразделении R&D в NLP. К её научным интересам относятся NLU, QA, и внезапно, веб-дев =)

Valya

Валентин Малых

valentin.malykh@huawei.com

Научный сотрудник и аспирант Лаборатории нейронных систем и глубокого обучения МФТИ. Валентин написал более 20 работ в области NLP, в том числе он является автором публикаций на таких конференциях, как NeurIPS, ACL, WSDM. Сейчас Валентин работает старшим научным сотрудником в компании Huawei лаборатории Noah`s Ark.

Katya

Екатерина Артемова

echernyak@hse.ru

Екатерина Артемова (Черняк) защитила диссертацию в ВШЭ, где сейчас преподаёт и занимает исследовательскую позицию и руководит группой NLP.

Anton

Антон Емельянов

login-const@mail.ru

Сотрудник лаборатории Компьютерной прагматики НИУ ВШЭ.Антон работает научным сотрудником в Сбербанке в команде R&D в NLP. Его научные интересы - NLU, языковые модели и генерация.

Vlad

Владислав Михайлов

vmikhailovhse@gmail.com

Владислав Михайлов выпускник магистерской программы «Компьютерная лингвистика» (ВШЭ), сейчас - Junior NLP Data Scientist (Сбербанк). Исследовательские интересы: гибридные вопросно-ответные системы, multi-hop QA, машинное чтение (MRC).

Mashka

Мария Тихонова

m_tikhonova94@mail.ru

Мария Тихонова – аспирантка факультета компьютерных наук Высшей Школы экономики. Она закончила механико-математический факультет Московского Государственного Университета. Мария работает в Сбербанке в подразделении R&D в NLP. К ее научным интересам относятся NLP и тематическое моделирование.

Denis

Денис Шевелёв

reddraner@gmail.com

Денис Шевелев получил два высших образования в области филологии и журналистики в МГГУ. С 2005 года занимается копирайтингом и редактурой. Работает в подразделении RnD Сбербанка, Москва. Интересуется вопросами общего интеллекта и машинного распознавания естественного языка и эмоций. Сценарист, автор двух графических романов.

Taya

Таисия Глушкова

glushkovato@gmail.com

Таисия закончила магистратуру ФКН НИУ ВШЭ, где на данный момент является стажером-исследователем в лаборатории, занимающейся NLP. Прикладной исследователь с опытом работы в Unbabel, Diginetica и Сбербанк

Andrey

Андрей Евлампиев

andy.evlampiev@gmail.com

Андрей работает в Сбербанке менеджером по науке о данных, в частности ориентирован на процессы метрик оценки и data engineering.Андрей закончил механико-математический факультет Московского Государственного Университета, а также Яндекс ШАД.