如果我们有一个具有六个输入的神经元（类似于六个购物项：土豆，胡萝卜等等），输入1，输入2，输入3，输入4，输入5和输入6，我们还需要六个权重。权重类似于物品的价格。我们称它们为权重1，权重2，权重3，权重4，权重5和权重6。另外，我们通常会像在线性回归中那样包含一个截距项。举个例子，你可以想象你使用信用卡付款的固定附加费用。

然后，我们可以计算这样的线性组合：线性组合=截距+权重1×输入1 + ... +权重6×输入6。

用实际的数字举例，如：

正如前面讨论的那样，权重几乎总是通过使用与线性或逻辑回归相同的原理从数据中学习。但在我们更详细地讨论这个之前，我们要介绍神经元在发出输出信号之前完成的另一个重要阶段。

激活和输出

线性组合计算出来后，神经元还要再做一次操作。即，将得到的线性组合通过激活函数。激活函数的典型例子包括：

• 恒等函数：什么也不做，只输出线性组合


• 阶梯函数：如果线性组合的值大于零，则发送一个脉冲（ON），否则不执行任何操作（OFF）


• sigmoid函数：step函数的“软”版本

请注意，第一个激活函数，恒等函数，神经元与线性回归完全相同。这就是为什么恒等函数很少用于神经网络的原因：它不会引起任何新鲜和有趣的东西。

由线性组合和激活函数确定的神经元输出可用于预测或决策。例如，如果网络的设计目的是识别自动驾驶汽车前的停车标志，则输入可以是由安装在汽车前面的摄像头捕获的图像像素，而输出可以用于激活在标志前停车的停车程序。

网络中的学习或适应发生在对权重进行调整以使网络产生正确的输出时，就像线性或逻辑回归一样。许多神经网络非常大，最大的神经网络包含上千亿的权重。优化它们都是一项艰巨的任务，需要大量的计算能力。

所有人工神经网络的起源：感知器

感知器只是带有我们上面介绍的阶梯激活函数的简单的神经元模型的一个花哨的名字。它是最早的神经计算模型之一，并且由于它在神经网络的历史中的重要作用，将其称为“所有人工神经网络的母亲”也不为过。

它可以用作二元分类任务中的简单分类器。1957年，心理学家弗兰克·罗森布拉特(Frank Rosenblatt)介绍了一种从数据中获取感知器权重的方法，叫做感知器算法。在这里，我们不会详细研究感知器算法。你只要知道它就像最近邻分类一样简单就够了。它的基本原理是一次只给网络提供一个训练数据的实例。每次误分类都会更新权重。

最终导致在20世纪60年代几乎完全放弃神经网络方法并持续了二十年的辩论历史非常迷人。米克尔·奥拉扎兰(发表在《科学社会研究》1996年)的一篇关于感知器官方争议史的社会学研究，从科学社会学的角度回顾了这一事件（http://journals.sagepub.com/doi/10.1177/030631296026003005）。今天读这本书真是发人深思。阅读关于“已经开发出很快达到人类智能水平并变得自觉的神经网络算法”的著名的AI人的故事，可以与当前炒作中的一些言论相比较。如果你看一下这篇文章，即使你没有阅读全文，它也会为今天的新闻提供一个有趣的背景。以2017年9月发表在《麻省理工学院技术评论》上的一篇文章为例（https://www.technologyreview.com/s/608911/is-ai-riding-a-one-trick-pony/），Jordan Jacobs是一家价值数百万美元的人工智能矢量研究所的联合创始人，他将Geoffrey Hinton（目前深度学习热潮的领军人物）与爱因斯坦相比较，因为他在20世纪80年代对神经网络算法的开发做出了贡献。然后，还要回顾前一节中提到的人类大脑项目。

根据Hinton的说法，“事实上，它不起作用只是一个暂时的烦恼。”（根据文章说，Hinton对上述说法感到好笑，因此很难说他对此有多认真。）人类大脑项目声称，我们对意识的理解有了一个深刻的飞跃。这听起来熟悉吗？

没有人真正了解未来，但知道了早期即将突破的报道记录，建议你多一些批判性思维。我们将在最后一章讲到人工智能的未来，但现在让我们看看人工神经网络是如何构建的。

将神经元连在一起：网络

单个神经元太简单了，无法在大多数实际应用中可靠地进行决策和预测。为了利用神经网络能力，我们可以使用一个神经元的输出作为其他神经元的输入，而这些其他神经元的输出可以是下一个其他神经元的输入，以此类推。整个网络的输出是求得的神经元某个子集的输出，它们被称为输出层。我们将在讨论神经网络如何通过从数据中学习它们的参数来适应产生不同的行为之后再回顾这个问题。

简单的神经网络分类

一个使用神经网络分类的相对简单的例子，我们思考一个与MNIST数字识别任务非常相似的任务，即将图像分为两类。我们将首先创建一个分类器来分类图像是显示一个叉（x）还是一个圈（o）。我们的图像在这里表示为彩色或白色的像素，像素以5×5网格排列。在这种格式下，我们的×和圈（说实话，更像是菱形）看起来如下：

为了建立一个神经网络分类器，我们需要将问题正规化，以使我们能够使用所学的方法来解决它。我们的第一步是用可以用作分类器输入的数值表示像素中的信息。如果正方形着色，我们使用1；如果是无色（或者说白色），则使用0。请注意，尽管上图中符号的颜色不同（绿色和蓝色），但我们的分类器将忽略颜色信息并仅使用彩色或白色信息。图像中的25个像素构成分类器的输入。

为了确保我们知道哪个像素是数字表示中的哪个像素，我们可以决定按照与读取文本相同的顺序列出像素，从左至右读取每行，读取一行后按从上到下的顺序读取下一行。例如，叉的第一行表示为1,0,0,0,1；第二行为0,1,0,1,0，依此类推。叉的全部输入为：1,0,0,0,1,0,1,0,1,0,0,0,1,0,0,0,1,0,1,0,1,0,0,0,1。

我们将使用基本的神经元模型，第一步是计算输入的线性组合。因此需要每个输入像素的权重，这意味着我们总共有25个权重。

最后，我们使用阶梯激活函数。如果线性组合是负值，则神经元激活为零，我们用这个值表示一个叉。如果线性组合是正的，神经元激活是1，我们用它表示圈。

让我们尝试当所有权重都是数值1时发生的情况。使用此设置，我们的叉图像的线性组合为9（9个彩色像素，9个1，和16个白色像素，16个0），对于圈图像是8（8个彩色像素，8个1，和17个白色像素，17个0）。换句话说，线性组合对于两个图像都是正的，因此它们都被分类为圈。虽然只有两幅图像需要分类，但还是效果不佳。

为了改善结果，我们需要调整权重，使得线性组合对于叉为负，对于圈为正。如果我们想区分叉形和圈形的图像，我们可以看到圈形在图像的中心没有彩色像素，而叉形有。同样，图像角落处的像素在叉中着色，但在圈中无色。

我们现在可以调整权重。有很多的权重可以完成这项工作。例如，为中心像素（第13像素）分配权重-1，并将权重1分配给图像四边中点的像素，让所有其他权重为0。现在，对于叉输入，中心像素产生值-1，而对于其他像素，权重的像素值为0，因此-1是总值。激活0，并且叉被正确地分类。

那么这个圈呢？每个边中间像素产生值1，总共4×1 = 4。而其他像素，像素值或权重为零，因此值为4。由于4是正值，所以激活为1，并且圈也被正确识别。

笑脸和哭脸？

现在我们将按照类似的推理来构建笑脸的分类器。你可以通过单击它们为图像中的输入像素分配权重。单击一次将权重设置为1，然后再次单击将其设置为-1。激活1指示图像被分类为笑脸，其可以是正确的或不正确的，而激活-1则将图像分类为哭脸（由于条件限制，请访问原网站点击）。

不要因为你无法正确分类所有的笑脸而感到灰心：事实上，我们简单的分类器根本做不到！这是一个重要的学习目标：有时候不可能实现完美的分类，因为分类器太简单了。在这种情况下，使用输入线性组合的简单神经元对任务来说太简单了。观察如何构建在不同情况下运行良好的分类器：有些分类器可以正确分类大多数快乐的脸部，而对于悲伤的脸部则很糟糕（或者与此相反）。

你可以达到6/8分类笑脸和哭脸吗？