第二周神经网络基础_给定输入向量计算通过网络后的输出

 

 

预测图片中是否有猫，将像素值作为特征向量X输入。计算机中保存一张图片需要保存三个独立的矩阵，分别对应图片中的红绿蓝三个颜色通道，例如图片是64乘64像素的，那么特征向量X的维度值n=64×64×3=12288

 

 

 

X表示一个n维的特征向量，y是标签值，取值为0或1

 用矩阵表示特征向量，X是m×nx的矩阵，m是样本数量，nx是特征向量的维度，在python中，X.shape=（nx，m）中X.shape的作用是用来输出矩阵的维度。

 

逻辑回归

 

对于分类问题来说，我们输入n维的特征向量x，希望输出值y总是在0-1之间，逻辑回归的参数w也是一个n维向量，b是一个实数，而sigmoid函数则完美地实现了将输出值y的值域定在了（0-1）。

在逻辑回归中我们需要做的就是学习参数w和b。

逻辑回归的损失函数：

 

cost(hθ(x),y)=∑i=1m   −yilog(hθ(x))−(1−yi)log(1−hθ(x))

 

逻辑回归中的梯度下降：

为了训练逻辑回归中的参数w和b,使J（w,b）最小

 

 

w:=w-αdw 对于函数J来说，无论w的初始值在哪里，梯度下降算法都能使其达到最小值，如上图，若初始值很大，则dw为正值，随着迭代，w值不断变小，若初始值很小，dw为负值，随着迭代，w值不断变大。

 

 在逻辑回归中，参数w和b都按照上诉公式进行梯度下降。