【机器学习】神经网络（一）——多类分类问题

一、问题引入
早在监督学习中我们已经使用Logistic回归很好地解决二类分类问题。但现实生活中，更多的是多类分类问题（比如识别10个手写数字）。本文引入神经网络模型解决多类分类问题。

二、神经网络模型介绍

神经网络模型是一个非常强大的模型，起源于尝试让机器模仿大脑的算法，在80年代和90年代早期非常流行。同时它又是一个十分复杂的模型，导致其计算量非常巨大，所以在90年代后期逐渐衰落。近年来得益于计算机硬件能力，又开始流行起来。人类的大脑是一个十分神奇的东西，尽管当今人工智能科技已经十分发达，但很大程度上，无论建立一个多么完美的模型，其学习能力目前仍然逊色于大脑。因此神经网络是人工智能领域的一个热门研究方向。
1.神经网络模型
为了描述神经网络模型，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：

其中x1, x2, x3称为输入（来自与其他神经元的输入信号）, x0称为偏置单元(bias unit), θ称为权重或参数, hθ(x)称为激活函数(activation function), 这里的激活函数用了sigmoid(logistic) 函数：
多个神经元组合在一起，便形成了神经网络，如下图：

第一层称为输入层（input layer），第二层是隐藏层（hidden layer），第三层是输出层（output layer），注意输入层和隐藏层都存在一个偏置单元（bias unit）。其中，x0 是第一层的偏置单元（设置为1），是对应该偏置单元 x0 的权值；是第二层的偏置单元，是对应的权值。 以此类推，是第j层的第i个激活函数，从第j层映射到第j+1层的控制函数的权重矩阵。计算激活值时（以为例）按照下式计算：

以此类推，上述神经网络模型可表示为：

从该计算过程可以看出，神经网络在对样本进行预测时，是从第一层（输入层）开始，层层向前计算激活值，直观上看这是一种层层向前传