传统的语言模型，模型评估参数（信息、各种熵和困惑度），最后介绍了一些数据平滑的方法

语言模型

二元语法

对于一个句子$s=w_1\cdots w_n$，近似认为一个词的概率只依赖于它前面的1个词。即一个状态只跟上一个状态有关，也称为一阶马尔科夫链。

$$p(s)=p(w_1)p(w_2|w_1)p(w_3|w_2)\cdots p(w_n|w_{l-1})=\prod _{i=1}^{l}p(w_i|w_{i-1})$$

设$c(w_{i-1}{w}_i)$ 表示二元语法$w_{i-1}{w}_i$在给定文本中的出现次数，则上一个词是$w_{i-1}$下一个词是$w_i$的概率$p(w_i\mid w_{i-1})$是当前语法$w_{i-1}{w}_i$出现的次数比上所有形似$w_{i-1}w$的二元语法的出现次数

$$p(w_i\mid w_{i-1})=\frac{c(w_{i-1}{w}_i)}{\sum _{w}c(w_{i-1}w)}，w\mathrm{是}\mathrm{变}\mathrm{量}$$

$n$元语法

认为一个词出现的概率和它前面的n个词有关系。则对于句子$s=w_1{w}_2\cdots w_l$，其概率计算公式为如下：

$$p(s)=p(w_1)p(w_2|w_1)p(w_3|w_1{w}_2)\cdots p(w_n|w_1{w}_2\cdots w_{l-1})=\prod _{i=1}^{n}p(w_i|w_1\cdots w_{i-1})$$

上述公式需要大量的概率计算，太理想了。一般取$n=2$或者$n=3$。

对于$n>2$的$n$元语法模型，条件概率要考虑前面$n-1$个词的概率，设$w_i^j$表示$w_i\cdots w_j$，则有

$$p(s)=\prod _{i=1}^{l+1}p(w_i\mid w_{i-n+1}^i)，p(w_i\mid w_{i-n+1}^i)=\frac{\stackrel{\mathrm{具}\mathrm{体}\mathrm{以}{w}_i\mathrm{结}\mathrm{尾}\mathrm{的}\mathrm{词}\mathrm{串}w[i-n+1,i]}{\overbrace{c(w_{i-n+1}^i)}}}{\underset{\mathrm{所}\mathrm{有}\mathrm{以}{w}_i\mathrm{结}\mathrm{尾}\mathrm{的}\mathrm{词}\mathrm{串}w[i-n+1,i]}{\underbrace{\sum _{w_i}c(w_{i-n+1}^i)}}}$$

实际例子

假设语料库$S$是由下面3个句子组成，所求的句子t在其后：

s = ['brown read holy bible', 'plm see a text book', 'he read a book by david']
t = 'brown read a book'

那么求句子$t$出现的概率是

$$p(t)=p(brownreadabook)=p(brown|BOS)p(read|brown)p(a|read)p(book|a)p(eos|book)\approx 0.06$$

$n$元文法的一些应用如下

语音识别歧义消除

如给了一个拼音 $tashiyanjiushengwude$，得到了很多可能的汉字串：踏实研究生物的，他实验救生物的，他是研究生物的 ，那么求出$ar{g}_{str}maxP(str|pinyin)$，即返回最大概率的句子

汉语分词问题

给定汉字串他是研究生物的。可能的汉字串 他 是 研究生 物 的和他 是 研究 生物 的，这也是求最大句子的概率

开发自然语言处理的统计方法的一般步骤

• 收集大量语料（基础工作，工作量最大，很重要）
• 对语料进行统计分析，得出知识（如n元文法，一堆概率）
• 针对场景建立算法，如计算概率可能也用很多复杂的算法或者直接标注
• 解释或者应用结果

模型评估参数

基础

• 评价目标：语言模型计 算出的概率分布与“真实的”理想模型是否接近
• 难点：无法知道“真实的”理想模型的分布
• 常用指标：交叉熵，困惑度

信息量和信息熵

$X$是一个离散随机变量，取值空间为$R$，其概率分布是$p(x)=P(X=x),x\in R$。

信息量

概率是对事件确定性的度量，那么信息就是对不确定性的度量。信息量 $I(X)$代表特征的不确定性，定义如下

$$I(X)=-\log p(x)$$

信息熵

信息熵$H(x)$是特征不确定性的平均值，用表示，定义如下

$$H(X)=\sum _{x\in R}p(x)log\frac{1}{p(x)}=-\sum _{x\in R}p(x)\log p(x)$$

一般是$lo{g}_{2}p(x)$，单位是比特。若是$\ln p(x)$，单位是奈特。

• 信息熵的本质是信息量的期望
• 信息熵是对不确定性的度量
• 随机变量$X$的熵越大，说明不确定性也大；若$X$为定值，则熵为0
• 平均分布是"最不确定”的分布

联合熵和条件熵

$X,Y$是一对离散型随机变量，并且$X,Y\sim p(x,y)$。

联合熵

联合熵实际上描述的是一对随机变量平均所需要的信息量，定义如下。

$$H(X,Y)=-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x,y)$$

条件熵

给定$X$的情况下，$Y$的条件熵为

$$H(Y\mid X)=-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(y\mid x)$$

其中可以推导出：$H(X,Y)=H(X)+H(Y\mid X)$。

相对熵和交叉熵

相对熵

随机变量$X$的状态空间$\mathrm{\Omega }x$上有两个概率分布$p(x)$和$q(x)$。一般p是真实分布，q是预测分布。

相对熵也称为KL距离，用来衡量相同事件空间里两个概率分布的差异。

$p$和$q$的相对熵$D(p\mid \mid q)$用来度量它们之间的差异，如下

$$D(p\mid \mid q)=\sum _{x\in X}p(x)\log \frac{p(x)}{q(x)}=E_p(\log \frac{p(X)}{q(X)})(\mathrm{期}\mathrm{望})$$

特别地，若$p==q$，则相对熵为0；若差别增加，相对熵的值也增加。简单理解“相对”如下：

$$D(p\mid \mid q)=\sum _{x\in X}p(x)(\log p(x)-\log q(x))=\underset{\mathrm{以}q\mathrm{去}\mathrm{近}\mathrm{似}p\mathrm{的}\mathrm{熵}=\mathrm{交}\mathrm{叉}\mathrm{熵}}{\underbrace{(-\sum _{x\in X}p(x)\log q(x))}}-\underset{p\mathrm{本}\mathrm{身}\mathrm{的}\mathrm{熵}}{\underbrace{(-\sum _{x\in X}p(x)\log p(x))}}$$

交叉熵

交叉熵用来衡量估计模型与真实概率分布之间的差异。

随机变量$X\sim p(x)$，$q(x)$近似于$p(x)$。 则随机变量$X$和模型$q$之间的交叉熵$H(X,q)$如下：以$q$去近似$p$的熵

$$H(p,q)=H(X)+D(p\mid \mid q)=-\sum _{x\in X}p(x)\log q(x)$$

实际应用

交叉熵的实际应用，设$y$是预测的概率分布，$y^{\prime }$为真实的概率分布。则用交叉熵去判断估计的准确程度

$$H(y^{\prime },y)=-\sum _i{y}_i^{\prime }\log y_i=-\sum _i{y}_{\mathrm{真}\mathrm{实}}\log y_{\mathrm{预}\mathrm{测}}$$

n元文法模型的交叉熵

设测试集$T=(t_1,t_2,\dots ,t_l)$包含$l$个句子，则定义测试集的概率$p(T)$为多个句子概率的乘积

$$p(T)=\prod _{i=1}^{l}p(t_i)，\text{其中}p(t_i)=\prod _{i=1}^{l_w}p(w_i|w_{i-n+1}^{i-1}),\text{见上面}$$

其中$w_i^j$表示词$w_i\cdots w_j$，$\sum _{w}c(readw)$是查找出所有以$read$开头的二元组的出现次数。

则在数据$T$上n元模型$p(w_i|w_{i-n+1}^{i-1})$的交叉熵$H_p(T)$定义如下

$$H_p(T)=-\frac{1}{W_T}{\log }_{2}p(T)，\mathrm{其}\mathrm{中}{W}_T\mathrm{是}\mathrm{文}\mathrm{本}T\mathrm{中}\mathrm{基}\mathrm{元}(\mathrm{词}\mathrm{或}\mathrm{字})\mathrm{的}\mathrm{长}\mathrm{度}$$

公式的推导过程如下

$$-\sum _{x\in X}p(x)\log q(x)⟹\underset{\mathrm{使}\mathrm{用}\mathrm{均}\mathrm{匀}\mathrm{分}\mathrm{布}\mathrm{代}\mathrm{替}p(x)}{\underbrace{-\frac{1}{W_T}\sum \log q(x)}}⟹-\frac{1}{W_T}\log \prod r(w_i|w_{i-n+1}^{i-1})⟹-\frac{1}{W_T}{\log }_{2}p(T)$$

可以这么理解：利用模型$p$对$W_T$个词进行编码，每一个编码所需要的平均比特位数。

困惑度

困惑度是评估语言的基本准则人，也是对测试集T中每一个词汇的概率的几何平均值的倒数。

$$P{P}_T(T)=2^{H_p(T)}=\frac{1}{\sqrt[W_T]{p(T)}}=2^{\text{交叉熵}}$$

当然，交叉熵和困惑度越小越好。语言模型设计的任务就是要找出困惑度最小的模型。

在英语中，n元语法模型的困惑度是$50\sim 1000$，交叉熵是$6\sim 10$个比特位。

数据平滑

问题的提出

按照上面提出的语言模型，有的句子就没有概率，但是这是不合理的，因为总有出现的可能，概率应该大于0。设$c(w)$是$w$在语料库中的出现次数。

$$p(read\mid plm)=\frac{c(plm\mid read)}{\sum _{w_i}c(plm|w_i)}=\frac{0}{1}=0，\mathrm{这}\mathrm{是}\mathrm{不}\mathrm{对}\mathrm{的}$$

因此，必须分配给所有可能出现的字符串一个非0的概率值来避免这种错误的发送。

平滑技术就是用来解决这种零概率问题的。平滑指的是为了产生更准确的概率来调整最大似然估计的一种技术，也称作数据平滑。思想是劫富济贫，即提高低概率、降低高概率，尽量是概率分布趋于均匀。

数据平滑是语言模型中的核心问题

加法平滑

其实为了避免0概率，最简单的就是给统计次数加1。这里我们可以为每个单词的出现次数加上$\delta ，\delta \in [0,1]$，设$V$是所有词汇的单词表，$|V|$是单词表的词汇个数，则有概率：

$$p_{add}(w_i\mid w_{i-n+1}^{i-1})=\frac{\delta +c(w_{i-n+1}^i)}{\sum _{w_i}(\delta \ast |V|+c(w_{i-n+1}^i))}=\frac{\delta +\stackrel{\mathrm{具}\mathrm{体}\mathrm{词}\mathrm{串}[i-n+1,i]}{\overbrace{c(w_{i-n+1}^i)}}}{\delta \ast |V|+\underset{\mathrm{所}\mathrm{有}\mathrm{以}{w}_i\mathrm{结}\mathrm{尾}\mathrm{的}\mathrm{词}\mathrm{串}[i-n+1,i]}{\underbrace{\sum _{w_i}c(w_{i-n+1}^i)}}}$$

注：这个方法很原始。

Good-Turing

Good-Turing也称作古德-图灵方法，这是很多平滑技术的核心。

主要思想是重新分配概率，会得到一个剩余概率量$p_0=\frac{n_1}{N}$，设$n_0$为未出现的单词的个数，然后由这$n_0$个单词去平均分配得到$p_0$，即每个未出现的单词的概率为$\frac{p_0}{n_0}$。

对于一个$n$元语法，设$n_r$恰好出现$r$次的$n$元语法的数目，下面是一些新的定义

• 出现次数为$r$的$n$元语法 新的出现次数$r^{\ast }=(r+1)\frac{n_{r+1}}{n_r}$
• 设$N=\sum _{r=0}^{\mathrm{\infty }}{n}_r{r}^{\ast }=\sum _{r=1}^{\mathrm{\infty }}{n}_{r}r$，即$N$是这个分布中最初的所有文法出现的次数，例如所有以$read$开始的总次数
• 出现次数为$r$的修正概率 $p_r=\frac{r^{\ast }}{N}$

剩余概率量$p_0=\frac{n_1}{N}$的推导

$$\mathrm{总}\mathrm{的}\mathrm{概}\mathrm{率}=\sum _{r>0}{n}_r{p}_r=\sum _{r>0}{n}_r(r+1)\frac{n_{r+1}}{n_{r}N}=\frac{1}{N}(\sum _{r>0}(r+1)n_{r+1}=\frac{1}{N}(\sum _{r>0}(r{n}_r-n_1)=1-\frac{n_1}{N}<1$$

然后把$p_0$平均分配给所有未见事件(r=0的事件)。

缺点

• 若出现次数最大为$k$，则无法计算$r=k$的新的次数$r^{\ast }$和修正概率$p_r$
• 高低阶模型的结合通常能获得较好的平滑效果，但是Good-Turing不能高低阶模型结合

Jelinek-Mercer

问题引入

假如$c(sendthe)=c(sendthou)=0$，则通过GT方法有$p(the\mid send)=p(thou\mid send)$，但是实际上却应该是$p(the\mid send)>p(thou\mid send)$。

所以我们需要在二元语法模型中加入一个一元模型

$$p_{ML}(w_i)=\frac{c(w_i)}{\sum _{w}c(w)}$$

二元线性插值

使用$r$将二元文法模型和一元文法模型进行线性插值

$$p(w_i\mid w_{i-1})=\lambda p_{ML}(w_i|w_{i-1})+(1-\lambda )p_{ML}(w_i)，\lambda \in [0,1]$$

所以可以得到$p(the\mid send)>p(thou\mid send)$