Основы фреймворка
1.Экстремальная перчатка: теоретически точное встраивание распределенных слов с помощью хвостового вывода(arXiv)
Автор:Хао Ван
Аннотация. Распределенные вложения слов, такие как Word2Vec и GloVe, получили широкое распространение в промышленных контекстах. Основные технические приложения GloVe включают рекомендательные системы и обработку естественного языка. Фундаментальная теория, лежащая в основе GloVe, основана на выборе весовой функции в формулировке взвешенного метода наименьших квадратов, которая вычисляет мощное отношение количества вхождений слов к максимальному количеству слов в корпусе. Однако первоначальная формулировка GloVe теоретически неверна в двух аспектах, а именно: выбор весовой функции и ее показателя степени является случайным. В этой статье мы используем теорию анализа экстремальных значений и предлагаем теоретически точную версию GloVe. Переформулировав взвешенную функцию потерь методом наименьших квадратов как функцию ожидаемых потерь и точно выбрав показатель степени, мы создаем теоретически точную версию GloVe. Мы демонстрируем конкурентоспособность нашего алгоритма и показываем, что начальную формулировку GloVe с предложенным оптимальным параметром можно рассматривать как частный случай нашей парадигмы.
2. Метод устранения предвзятости с точки зрения исходной критики для вложений GloVe(arXiv)
Автор:Хоуп МакГоверн
Аннотация. Хорошо задокументировано, что встраивание слов, обученное на больших общедоступных корпусах, постоянно демонстрирует известные социальные предубеждения людей. Хотя существует множество методов устранения смещения, почти все они зациклены на полном исключении предвзятой информации из вложений и часто в процессе уменьшают размер обучающей выборки. В этой статье мы представляем простой, но эффективный метод устранения предвзятости встраивания слов GloVe (Pennington et al., 2014), который работает путем включения явной информации о смещении обучающего набора, а не путем прямого удаления смещенных данных. Наш метод работает быстро и эффективно с помощью метода быстрой аппроксимации градиента смещения от Brunet et al. (2019). Поскольку наш подход сродни понятию «источниковедческая критика» в гуманитарных науках, мы называем наш метод перчаткой критической оценки источников (SC-GloVe). Мы показываем, что SC-GloVe уменьшает размер эффекта в наборах тестов Word Embedding Association Test (WEAT) без ущерба для обучающих данных или производительности TOP-1.
3. SemGloVe: семантические совпадения для GloVe от BERT(arXiv)
Автор:Лейлей Ган, Чжиян Тэн, Юэ Чжан, Линчао Чжу, Фей Ву, И Ян
Вывод:GloVe изучает встраивание слов, используя статистическую информацию из матриц совпадения слов. Однако пары слов в матрицах извлекаются из предопределенного окна локального контекста, что может привести к ограниченному количеству пар слов и потенциально семантически нерелевантным парам слов. В этой статье мы предлагаем SemGloVe, который преобразует семантические совпадения из BERT в статические вложения слов GloVe. В частности, мы предлагаем две модели для извлечения статистики совпадений, основанные либо на модели маскированного языка, либо на весовых коэффициентах внимания с несколькими заголовками BERT. Наши методы могут извлекать пары слов, не ограничиваясь предположением о локальном окне, и могут определять веса совпадений, непосредственно учитывая семантическое расстояние между парами слов. Эксперименты с несколькими наборами данных сходства слов и четырьмя внешними задачами показывают, что SemGloVe может превзойти GloVe.
