深度学习词汇表(四)

2019年04月21日 由 sunlei 发表 781907 0


这是深度学习词汇表的第四篇文章,你们猜接下来还有没有五、六、七、八……

往期内容传送门:

深度学习词汇表(一)

深度学习词汇表(二)

深度学习词汇表(三)

Keras


Keras是一个高层神经网络API,Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端。Keras 为支持快速实验而生,能够把你的idea迅速转换为结果,如果你有如下需求,请选择Keras:

简易和快速的原型设计(keras具有高度模块化,极简,和可扩充特性)支持CNN和RNN,或二者的结合无缝CPU和GPU切换。

LSTM


LSTM(Long Short-Term Memory)是长短期记忆网络,是一种时间循环神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。

LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。

Max-Pooling


卷积神经网络中常用的一种池化操作。最大池层从一组特性中选择最大值。就像卷积层一样,池化层是由窗口(补丁)大小和步长大小参数化的。例如,我们可以使用step size 2在一个10×10特征矩阵上滑动一个大小为2×2的窗口,在每个窗口内的所有4个值中选择最大值,得到一个新的5×5特征矩阵。通过只保留最显著的信息,池化层有助于降低表示的维数,并且在图像输入的情况下,池化层为平移提供基本的不变性(即使图像移动了几个像素,也会选择相同的最大值)。池化层通常插入到连续的卷积层之间。

MNIST


MNIST数据集可能是最常用的图像识别数据集。它包括60,000个训练和10,000个手写数字的测试示例。每张图片的大小为28×28像素。最先进的模型通常在测试集中达到99.5%或更高的精度。

Momentum


动量是梯度下降算法的一个扩展,它可以加速或抑制参数更新。在实际应用中,在梯度下降更新中加入动量项可以提高深度网络的收敛速度。

Multilayer Perceptron (MLP)


多层感知器是一种具有多个全连接层的前馈神经网络,利用非线性激活函数处理不可线性分离的数据。MLP是多层神经网络的最基本形式,如果多层神经网络超过两层,则称为深度神经网络。

Negative Log Likelihood (NLL)


参见《深度词汇学习表(二)》交叉熵代价函数 Categorical Cross Entropy Loss。

Neural Machine Translation (NMT)


NMT系统使用神经网络在英语和法语等语言之间进行翻译。NMT系统可以使用双语语料库进行端到端的培训,这与传统的机器翻译系统不同,后者需要手工制作的功能和工程。NMT系统通常使用编码器和解码器实现递归神经网络,它们分别对源句和目标句进行编码。

Neural Turing Machine (NTM)


NTM(Graves, et al., 2014)在一个很高的层面上构建神经计算模型,作为图灵机的实现。核心思想是在RNNs的基础上augment记忆模块。可以从例子中推断出简单的算法。例如,NTM可以通过示例输入和输出学习排序算法。NTMs通常学习某种形式的内存和注意机制来处理程序执行过程中的状态。

Nonlinearity


参见《深度词汇学习表(一)》激活函数Activation Function。

好了,今天这一篇就暂时到这里,让我们共同期待 (五)吧。
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消