cs224n word2vec 简介和公式推导

Word meaning

词意

词的意思就是idea，如下：

• 词汇本身表达的意义
• 人通过词汇传达的想法
• 在写作、艺术中表达的意思
• signifier - signified(idea or thing) - denotation

传统离散表达

传统使用分类学去建立一个WordNet，其中包含许多上位词is-a和同义词集等。如下：

上义词	同义词
entity, physical_entity,object, organism, animal	full, good; estimable, good, honorable, respectable

离散表达的问题：

• 丢失了细微差别，比如同义词：adept, expert, good, practiced, proficient, skillful
• 不能处理新词汇
• 分类太主观
• 需要人力去构建和修改
• 很难去计算词汇相似度

每个单词使用one-hot编码，比如hotel=$[0,1,0,0,0]$，motel=$[0,0,1,0,0]$。 当我搜索settle hotel的时候也应该去匹配包含settle motel的文章。 但是我们的查询hotel向量和文章里面的motel向量却是正交的，算不出相似度。

分布相似表达

通过一个单词的上下文去表达这个单词。

You shall know a word by the company it keeps. --- JR. Firth

例如，下面用周围的单词去表达banking ：

government debt problems turning into banking crises as has happened in ​ saying that Europe needs unified banking regulation to replace the hodgepodge

稠密词向量

一个单词的意义应该是由它本身的词向量来决定的。这个词向量可以预测出的上下文单词。

比如lingustics的词向量是$[0.286,0.792,-0.177,-0.107,0.109,-0.542,0.349]$

词嵌入思想

构建一个模型，根据中心单词$w_t$，通过自身词向量，去预测出它的上下文单词。

$$p(context\mid w_t)=\cdots$$

损失函数如下，$w_{-t}$表示$w_t$的上下文（负号通常表示除了某某之外），如果完美预测，损失函数为0。

$$J=1-p(w_{-t}\mid w_t)$$

Word2Vec

在每个单词和其上下文之间进行预测。

有两种算法：

• Skip-grams(SG)： 给目标单词，预测上下文
• Continuous Bag of Words(CBOW)：给上下文，预测目标单词

两个稍微高效的训练方法：

• 分层softmax
• 负采样

课上只是Naive softmax。两个模型，两种方法，一共有4种实现。这里是word2vec详细信息。

Skip-gram

对于每个单词$w_t$，会选择一个上下文窗口$m$。 然后要预测出范围内的上下文单词，使概率$P(w_{t+i}\mid w_t)$最大。

目标函数

$\theta$是我们要训练的参数，目标函数就是所有位置预测结果的乘积，最大化目标函数：

$$J^{\prime }(\theta )=\prod _{t=1}^T\prod _{-m\le j\le m}p(w_{t+j}\mid w_t;\theta ),t\ne j$$

一般使用negative log likelihood ：负采样教程。

要最大化目标函数，就得得到损失函数。对于对数似然函数，取其负对数就可以得到损失函数，再最小化损失函数，其中$T$是文本长度，$m$是窗口大小：

$$J(\theta )=-\frac{1}{T}\sum _{t=1}^T\sum _{-m\le j\le m}\log P(w_{t+j}\mid w_t)$$

• Loss 函数 = Cost 函数 = Objective 函数
• 对于softmax概率分布，一般使用交叉熵作为损失函数
• 单词$w_{t+j}$是one-hot编码
• negative log probability

Word2vec细节

词汇和词向量符号说明：

• $u$ 上下文词向量，向量是$d$维的
• $v$ 词向量
• 中心词汇$t$，对应的向量是$v_t$
• 上下文词汇$j$ ，对应的词向量是$u_j$
• 一共有$V$个词汇

计算$p(w_{t+j}\mid w_t)$， 即：

$$p(w_j\mid w_t)=\mathrm{softmax}(u_j^T\cdot v_t)=\frac{\exp (u_j^T\cdot v_t)}{\sum _{i=1}^V\exp (u_i^T\cdot v_t)}$$

两个单词越相似，点积越大，向量点积如下：

$$u^T\cdot v=\sum _{i=1}^M{u}_i\times v_i$$

softmax之所以叫softmax，是因为指数会让大的数越大，小的数越小。类似于max函数。下面是计算的详细信息：

一些理解和解释：

• $w_t$是one-hot编码的中心词汇，维数是$(V,1)$
• $W$是词汇表达矩阵，维数是$(d,V)$，一列就是一个单词
• $W{w}_t=v_t$ 相乘得到词向量$v_t$ ，$(d,V)\cdot (V,1)\to (d,1)$， 用$d$维向量去表达了词汇t
• $W^{\prime }$， $W^{\prime }\cdot v_t=s$，$(V,d)\cdot (d,1)\to (V,1)$ ， 得到 语义相似度向量$s$
• 再对$s$进行softmax即可求得上下文词汇
• 每个单词有两个向量，作为center单词向量和context单词向量

偏导计算

设$o$是上下文单词，$c$是中心单词，条件概率如下：

$$P(o\mid c)=\frac{\exp (u_o^T\cdot v_c)}{\sum _{i=1}^V\exp (u_i^T\cdot v_c)}$$

这里只计算$\log P$对$v_c$向量的偏导。

用$\theta$向量表示所有的参数，有$V$个单词，$d$维向量。每个单词有2个向量。参数个数一共是$2dV$个。

向量偏导计算公式，$\mathbf{x}\mathbf{,}\mathbf{a}$ 均是向量

$$\frac{\partial {\mathbf{x}}^T\mathbf{a}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a}$$

函数偏导计算，链式法则，$y=f(u),u=g(x)$

$$\frac{\mathrm{d}y}{\mathrm{d}x}=\frac{\mathrm{d}y}{\mathrm{d}u}\frac{\mathrm{d}u}{\mathrm{d}x}$$

最小化损失函数：

$$J(\theta )=-\frac{1}{T}\sum _{t=1}^T\sum _{-m\le j\le m}\log P(w_{t+j}\mid w_t),j\ne m$$

这里只计算$v_c$的偏导，先进行分解原式为2个部分：

$$\frac{\partial }{\partial v_c}\log P(o\mid c)=\frac{\partial }{\partial v_c}\log \frac{\exp (u_o^T\cdot v_c)}{\sum _{i=1}^V\exp (u_i^T\cdot v_c)}=\underset{1}{\underbrace{\frac{\partial }{\partial v_c}\log \exp (u_o^T\cdot v_c)}}-\underset{2}{\underbrace{\frac{\partial }{\partial v_c}\log \sum _{i=1}^V\exp (u_i^T\cdot v_c)}}$$

部分1推导

$$\begin{array}{rl}\frac{\partial }{\partial v_c}\log \exp (u_o^T\cdot v_c)& =\frac{\partial }{\partial v_c}{u}_o^T\cdot v_c={\mathbf{u}}_{\mathbf{o}}\end{array}$$

部分2推导

$$\begin{array}{rl}\frac{\partial }{\partial v_c}\log \sum _{i=1}^V\exp (u_i^T\cdot v_c)& =\frac{1}{\sum _{i=1}^V\exp (u_i^T\cdot v_c)}\cdot \frac{\partial }{\partial v_c}\sum _{x=1}^V\exp (u_x^T\cdot v_c)\\ & =\frac{1}{A}\cdot \sum _{x=1}^V\frac{\partial }{\partial v_c}\exp (u_x^T\cdot v_c)\\ & =\frac{1}{A}\cdot \sum _{x=1}^V\exp (u_x^T\cdot v_c)\frac{\partial }{\partial v_c}{u}_x^T\cdot v_c\\ & =\frac{1}{\sum _{i=1}^V\exp (u_i^T\cdot v_c)}\cdot \sum _{x=1}^V\exp (u_x^T\cdot v_c)u_x\\ & =\sum _{x=1}^V\frac{\exp (u_x^T\cdot v_c)}{\sum _{i=1}^V\exp (u_i^T\cdot v_c)}\cdot u_x\\ & =\sum _{x=1}^{V}P(x\mid c)\cdot u_x\end{array}$$

所以，综合起来可以求得，单词o是单词c的上下文概率$\log P(o\mid c)$ 对center向量$v_c$的偏导：

$$\frac{\partial }{\partial v_c}\log P(o\mid c)=u_o-\sum _{x=1}^{V}P(x\mid c)\cdot u_x=\text{观察到的}-\text{期望的}$$

实际上偏导是，单词$o$的上下文词向量，减去，所有单词$x$的上下文向量乘以x作为$c$的上下文向量的概率。

总体梯度计算

在一个window里面，对中间词汇$v_c$求了梯度， 然后再对各个上下文词汇$u_o$求梯度。 然后更新这个window里面用到的参数。

比如句子We like learning NLP。设$m=1$：

• 中间词汇求梯度 $v_{like}$
• 上下文词汇求梯度 $u_{we}$ 和 $u_{learning}$
• 更新参数

梯度下降

有了梯度之后，参数减去梯度，就可以朝着最小的方向走了。机器学习梯度下降

$${\theta }^{new}={\theta }^{old}-\alpha \frac{\partial }{\partial {\theta }^{old}}J(\theta ),{\theta }^{new}={\theta }^{old}-\alpha {\mathrm{\Delta }}_{\theta }J(\theta )$$

随机梯度下降

预料会有很多个window，因此每次不能更新所有的。只更新每个window的，对于window t：

$${\theta }^{new}={\theta }^{old}-\alpha {\mathrm{\Delta }}_{\theta }{J}_t(\theta )$$