PLM's Notes

Subword策略，很有用的论文。BERT也使用到了，有对应的tokenization.py 点击阅读全文

WordPiece模型，BERT也有用到。Japanese and Korean Voice Search 看了半天才发现不稳啊。 点击阅读全文

RNN, LSTM, GRU图文介绍，RNN梯度消失问题等 点击阅读全文

谷歌神经机器翻译系统，Transformer之前最强的基于RNN的翻译模型 点击阅读全文

搭建hexo博客，数学公式问题，Indigo主题 点击阅读全文

前面阐述注意力理论知识，后面简单描述PyTorch利用注意力实现机器翻译 点击阅读全文

用图文简单介绍基于RNN的Encoder-Decoder中注意力机制 点击阅读全文

PyTorch上手及其常用API总结 点击阅读全文

只是一个Seq2seq的在机器翻译中的简略笔记 点击阅读全文

条件随机场(Conditional Random Field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型。 点击阅读全文

机器学习中最大熵模型的介绍，包括模型思想、学习问题、学习算法等 点击阅读全文

吴恩达线性回归、逻辑回归、梯度下降笔记 点击阅读全文

本文简单记录了EM算法的思想和Jensen不等式 点击阅读全文

本文包括概率图模型、马尔科夫模型和隐马尔可夫模型。重点是HMM的前后向算法、维特比算法和BW算法 点击阅读全文

传统的语言模型，模型评估参数（信息、各种熵和困惑度），最后介绍了一些数据平滑的方法 点击阅读全文