PLM

plmsmile@126.com

主页
归档
标签
类别
关于我
Github

标签: 多头注意力

全部 linux tmux Spark RDD 机器学习最大期望算法 Jensen不等式 hexo搭建配置Git leetcode 数据结构树 Python NumPy vscode cpp 指针，对象，引用 PyTorch 神经网络深度学习 Spark SQL WordPiece 语音搜索语音识别 DCN coattention QA 论文笔记注意力 VQA QANet 机器阅读理解机器阅读 Gated Attention RNN Self-Matching RNet Pointer Network BiDAF 意图检测槽填充 RNN 对齐强化学习 TaskBot MRC发展历史 MRC任务形式 MRC数据集 SQuAD RACE TriviaQA NarrativeQA HotpotQA transformer 语言模型迁移学习 Self-Attention 可分离卷积 ELMo 词向量 LSTM 机器翻译自然语言处理搜索 Match-LSTM Pointer Net cs231n 线性分类 svm 词性标注句法依存朴素贝叶斯线性回归逻辑回归梯度下降神经机器翻译心得 hexo pandoc 数学公式 indigo 中文 pyplot chatbot qa IR BM25 seq2seq CNN 决策树 ID3 C4.5 CART 熵信息增益基尼指数 Attention 智能体环境值函数贝尔曼方程 V函数 Q函数卷积 1*1卷积分组卷积 LeNet AlexNet InceptionNet ResNet XceptionNet ShuffleNet 策略迭代值迭代蒙特卡罗时序差分 SARSA Q学习 Q网络 DQN 策略梯度策略函数 REINFORCE 基准函数 Actot-Critic 强化学习算法总结 Transformer 多头注意力残差连接层归一化位置编码 MLM NSP BERT GPT Attention Model Encoder-Decoder word2vec 反向传播激活函数 cs224n assignment cbow skip-gram 各种熵最大熵模型 IIS 期望负采样数据平滑 GRU NMT subword PairRDD SVM 拉格朗日对偶性对偶问题支持向量核函数感知机损失函数 DMN 数据预处理归一化优化方法 Adam 动量法学习率排序条件随机场概率无向图概率计算问题学习算法预测问题维特比前向后向迭代尺度法正则化范数 Dropout PCA 白化 BN 概率图模型马尔可夫链隐马尔科夫模型维特比算法前向算法后向算法，BW算法动态规划插入快排，快速排序堆排序归并排序基数排序冒泡排序

2018-08-29

自然语言处理

Transformer

Self-Attention
Transformer
位置编码
多头注意力
层归一化
机器翻译
残差连接
论文笔记

总访客数：总访问量：

扫一扫，分享到微信