Описание

Russe. WiC: The Word-in-Context Dataset Золотой набор данных для оценки контекстно-зависимых значений слов.

В зависимости от контекста, неоднозначное слово может относиться к множеству потенциально несвязанных значений. Основные вложения статических слов, такие как Word2vec и GloVe, не могут отразить эту динамическую семантическую природу. Контекстуальное вложение слов - это попытка устранить это ограничение путем вычисления динамических представлений для слов, которые могут адаптироваться на основе контекста.

Задача WiC Russian SuperGLUE заимствует исходные данные из [проекта Russe] (https://russe.nlpub.org/), из [дорожки] (https://russe.nlpub.org/2018/wsi/) по индукции и снятию неоднозначности у многозначых слов (2018)

Тип задачи¶

Reading Comprehension. Бинарная классификация: true/false

Пример¶

{
  "idx" : 8,
  "word" : "дорожка",
  "sentence1" : "Бурые ковровые дорожки заглушали шаги",
  "sentence2" : "Приятели решили выпить на дорожку в местном баре",
  "start1" : 15,
  "end1" : 23,
  "start2" : 26,
  "end2" : 34,
  "label" : false,
  "gold_sense1" : 1,
  "gold_sense2" : 2
}
                      

Как мы собирали данные? ¶

Все текстовые примеры были получены из исходного набора данных на русском языке, который был собран проектом [Russian Semantic Evaluation] (https://russe.nlpub.org/2018/wsi/) в ACL SIGSLAV

В версии 2 мы сделали новый тестсет, вручную на новых данных.

State of the Art

Английский WiC - Точность: 76.9%

Статьи по теме

• Original Russe paper: Panchenko, A., Lopukhina, A., Ustalov, D., Lopukhin, K., Arefyev, N., Leontyev, A., Loukachevitch, N.: RUSSE’2018: A Shared Task on Word Sense Induction for the Russian Language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue”. pp. 547–564. RSUH, Moscow, Russia (2018)
• Original WiC paper: WiC: the Word-in-Context Dataset for Evaluating Context-Sensitive Meaning Representations M.T. Pilehvar and J. Camacho-Collados, NAACL 2019 (Minneapolis, USA). Note: Results slightly differ between NAACL and Arxiv versions of the paper. Please take results in the Arxiv version, which is more up to date, as baseline for your evaluations.
• Wang A. et al. Superglue: A stickier benchmark for general-purpose language understanding systems //Advances in Neural Information Processing Systems. – 2019. – С. 3261-3275.