深度学习词汇表的词汇实在是太多，所以我将会分成几篇文章陆续发上来。这系列只是简单地介绍一下词汇的含义，让初学者有个浅显的概念，未来将会针对每个词汇有专门的文章介绍。

往期内容传送门：

深度学习词汇表（一）

好，我们继续来了解深度学习词汇表的一些词汇。

批处理规范化 Batch Normalization

Batch Normalization 简称BN，是由Google于2015年提出，这是一个深度神经网络训练的技巧，它不仅可以加快了模型的收敛速度，而且更重要的是在一定程度缓解了深层网络中“梯度弥散”的问题，从而使得训练深层网络模型更加容易和稳定。所以目前BN已经成为几乎所有卷积神经网络的标配技巧了。

批处理规范化是一种对每个小批处理的层输入进行规范化的技术。它加快了训练速度，允许使用更高的学习率，并以此作为一个规则。批量归一化在卷积神经网络和前馈神经网络中已被证明是非常有效的，但在递归神经网络中尚未成功应用。

双向RNN Bidirectional RNN

双向递归神经网络是一种包含两个方向不同的RNN的神经网络。正向RNN从开始到结束读取输入序列，反向RNN从结束到开始读取输入序列。这两个RNN互相叠在一起，它们的状态通常通过附加这两个向量来组合。双向RNN通常用于自然语言问题中，在进行预测之前，我们希望同时考虑语言前后意义。

一个深度学习框架 Caffe

CAFFE是由伯克利视觉与学习中心开发的一个深度学习框架。Caffe在视觉任务和CNN模型方面尤其受欢迎并且表现出色。

交叉熵代价函数 Categorical Cross-Entropy Loss

分类交叉熵损失也称为负对数似然。它是一种常用的分类问题的损失函数，用于度量两种概率分布(通常是真标签和预测标签)之间的相似性。它由L = -sum(y * log(y_prediction))给出，其中y是真标签的概率分布(通常是一个热向量)，y_prediction是预测标签的概率分布，通常来自SoftMax。

卷积网络中的通道Channel

向深度学习模型输入数据可以有多个渠道。典型的例子是图像，它有红色、绿色和蓝色通道。图像可以表示为三维张量，其尺寸与通道、高度和宽度相对应。自然语言数据也可以有多个通道，例如以不同类型的嵌入形式。

卷积神经网络Convolutional Neural Network (CNN, ConvNet)

CNN使用卷积从输入的局部区域连接提取特征。大多数CNN包含卷积层、池化层和仿射层的组合。CNN因其在视觉识别任务上的出色表现而广受欢迎，多年来，CNN一直处于最先进的水平。

深度信念网络Deep Belief Network (DBN)

DBN是一种概率图形模型，它以非监督的方式学习数据的分层表示。DBN由多个隐藏层组成，每个层的神经元之间都有连接。DBN是通过将多个RBN叠加在一起并逐个对它们进行训练来构建的。

一款图像识别工具Deep Dream

Deep Dream是一种由谷歌发明的技术，是对卷积神经网络（CNN）进行可视化的方法。该技术可以生成新的图像，或者转换现有的图像，并赋予它们梦幻般的味道，尤其是在递归应用时。

随机失活Dropout

Dropout是一种用于神经网络的正则化技术，可以防止过度拟合。它通过在每次训练迭代中将神经元的一部分随机设置为0来防止神经元的协同适应。Dropout可以用多种方式解释，比如从指数级的不同网络中随机抽样。Dropout层最初是通过在CNN中的使用而流行起来的，但后来被应用到其他层，包括输入嵌入或循环网络。

嵌入Embedding

嵌入将输入表示（如单词或句子）映射到向量中。时下一种流行的嵌入类型是word嵌入，如word2vec或glove。我们还可以嵌入句子、段落或图像。例如，通过将图像及其文本描述映射到一个公共嵌入空间，并最小化它们之间的距离，我们可以将标签与图像匹配。嵌入可以明确地学习，例如在word2vec中，或者作为监督任务的一部分，例如情感分析。通常，网络的输入层是通过预先训练的嵌入来初始化的，然后根据手头的任务进行微调。

好了，以上是这次的内容，我们下次再见。