逻辑回归(logistic regression)与正规化方程_回归 正规化

逻辑回归：

         当我们的预测值y是离散值时，线性回归这种连续型函数是不适合的，我们需要创造一种称为逻辑回归的学习算法。这种学习算法最广泛的应用是在分类问题上。

逻辑回归函数假设：

         假设我们要设计一个分类器，使得我们的输出在[0,1]之间，传统线性回归函数不能将预测值限制在一个范围内，我们可以假设预测函数为如下形式：

其图像为：

纵坐标表示当前x的预测值为1的概率。

这样可以使得，预测函数的值限制在[0,1]内。

Sigmoid function = logistic function

决策边界：

         实际上：z表示的为决策边界，即通过z来同行来对y进行分类。

拟合逻辑回归的参数theta.

对于一个有m个训练集的逻辑回归模型，其预测值为{0,1}。

         如果我们使用类似于线性回归的cost function，因为我们逻辑回归的函数假设形式是：

所以，当我们使用类似类似于线性回归的方式，由于h(X)是介于(0,1)之间的数，所以cost function的图像有可能如下图所示：

为了使cost function更加平滑，因为假设函数形式为：