神经网络中单个神经元的运作

激活函数来源 -  http://prog3.com/sbdm/blog/cyh_24/article/details/50593400

基础的神经网络布局

前向传播

前向传播：前向传播的过程是向神经网络馈送输入值并得到我们称为预测值的输出。当我们将输入值提供给神经网络的第一层时，它没有进行任何操作。第二层从第一层获取值并进行乘法，加法和激活操作，然后将得到的值传递给下一层。在后面的层中执行相同的操作，最后我们在最后一层得到一个输出值。

反向传播

反向传播：前向传播后，我们得到一个被称为预测值的输出值。为了计算误差，我们将预测值与实际输出值进行比较。我们使用损失函数（下面会提到）来计算误差值。然后我们计算神经网络中每一个误差值的导数和每一个权重。反向传播使用微分学的链式法则。在链条法则中，首先我们计算对应最后一层权值的误差值的导数。我们称这些导数为：梯度，然后使用这些梯度值来计算倒数第二层的梯度。重复此过程，直到我们得到神经网络中每个权重的梯度。然后从权值中减去该梯度值，以减少误差值。这样，我们就更接近（下降）局部最小值（也就是说最小的损失）。

学习率：当我们训练神经网络时，我们通常使用梯度下降法来优化权重。在每次迭代中，我们都使用反向传播来计算每个权重的损失函数的导数，并从这个权重中减去它。学习率决定了你想要更新权重（参数）值的速度。学习率不能太低导致收敛的速度缓慢，也不能太高导致找不到局部最小值。

精确率和召回率

准确率：准确率是指测量值与标准值或已知值的接近程度。

精确率：精确率是指两个或更多测量值的接近程度。它代表测量的重复性或再现性。

召回率：召回率是指在相关实例总数中已经检索到的相关实例的占比。

Tp是真正的阳性，Tn是真阴性，Fp是假阳性，Fn是假阴性

混淆矩阵  - 维基百科：

在机器学习领域特别是关于统计分类的问题，一个混淆矩阵（也称为误差矩阵），是一种特定的表格布局，它让你可以将算法的性能可视化（通常在监督学习中使用，在无监督学习它通常称为匹配矩阵）。矩阵的每一行表示预测类中的实例，而每一列表示实际类中的实例（反之亦然）。这个名字源于这样一个事实：它很容易看出系统是否混淆了两个类（通常是错误地标记成另一个）。

混淆矩阵

收敛：收敛是指迭代进行时输出越来越接近特定值。

正则化 ：用于克服过拟合问题。在正则化中，我们通过在权重向量w（它是给定算法中的学习参数的向量）中添加L1（LASSO）或L2（Ridge）范数来惩罚我们的损失项。

L（损失函数）+ λN（w） - 这里λ是你的正则项，N（w）是L1或L2范数

归一化：数据归一化是将一个或多个属性重新调整到0到1的范围的过程。当你不知道数据的分布或者当你知道分布不是高斯函数(钟形曲线)时，归一化是一种很好的解决方法。它有助于加速学习过程。

全连接层 ： 当一层中的所有节点的激活进入下一层中的每个节点时。当第L层中的所有节点连接到第（L + 1）层中的所有节点时，我们将这些层称为完全连接的层。

全连接层

损失函数/代价函数： 损失函数计算单个训练示例的误差。代价函数是整个训练集的损失函数的平均值。

• mse：均方误差。


• binary_crossentropy：用于二进制对数损失（logloss）。


• categorical_crossentropy：用于多类的对数损失（logloss）。

模型优化器：优化器是一种用于更新模型中权重的搜索技术。

• SGD：随机梯度下降，支持动量。


• RMSprop：由Geoff Hinton提出的自适应学习率优化方法。


• Adam: Adaptive Moment Estimation (Adam自适应时刻估计方法），能计算每个参数的自适应学习率。

性能指标：性能指标用于测量神经网络的性能。准确率，损失，验证精度，验证损失，平均绝对误差，精确率，召回率和f1分数都是一些性能指标。

批量尺寸 ：通过前向或反向训练的示例数。批量尺寸越大，你需要的内存空间就越大。

训练次数：模型接触训练数据集的次数。每一次等于一次通过前向或反向的所有训练实例。