Что такое вектор слова (как его вычислить), word embedding и как работает word2vec?

Относительно простыми словами объясните, пожалуйста, что такое вектор слова, как его вычислить. Что такое word embedding, skip-gramms, как работает word2vec? Желательно с примерами.
  • Вопрос задан
  • 1406 просмотров
Пригласить эксперта
Ответы на вопрос 3
angrySCV
@angrySCV
machine learning, programming, startuping
вектор - это отрезок в пространстве (определенная величина которой мы что-то измеряем в пространстве).
Если это 3х мерное пространство то это соответственно набор параметров длина, ширина, высота объекта которого мы измеряем.
Многообразие слов может быть представлено очень большим "пространством" (условно можно назвать "смысл"), и вордТуВек - работает измеряя параметры определенного слова в этом пространстве.
Для примера можно рассмотреть например - если мы ограничим пространство всех слов (смыслов), только словами с цветом - тогда у каждого нашего слова зеленый, красный, черный, синий и тд, будет размер в пространстве который бы соответствовал цветовой характеристике (например RGB, типа там [0, 0, 0] - для черного), однако пространство у нас куда более большое, чем только характеристики цвета, такое пространство может иметь тысячимерную размерность "смыслов".
самое главное что мы в итоге переводя слова в такие вектора, можем их сравнивать. находить близкие по смыслу слова и сравнивать составленные из этих слов "фигуры" в пространстве
Ответ написан
@dmshar
Вообще-то это целая технология. Ожидать объяснения в "относительно простых словах" как то даже не серьезно. Информации по теме масса - сиди, читай, разбирайся, применяй.
Вот неплохое - одно из многих - введение в тему:
https://skymind.ai/wiki/word2vec
с примерами и объяснениями "что такое" и "как работает". Если что-то конкретное станет непонятным - спрашивайте.
Ответ написан
dimonchik2013
@dimonchik2013
non progredi est regredi
так а что именно непонятно?

Гугел же сразу подсказки дает

https://towardsdatascience.com/introduction-to-wor...
https://becominghuman.ai/how-does-word2vecs-skip-g...
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы