
# 导入numpy、matplotlib模块
import numpy as np
from matplotlib import pyplot as plt
# 设定特征值
x = np.array([1, 2, 3, 4, 5])
# 设定权重、偏移
w=1
b=0
# 设定线性回归函数
f_wb = w*x+b
# 绘制数据点
plt.scatter(x, f_wb)
# 绘制回归线
plt.plot(x, f_wb, color='red')
# 添加标题和标签
plt.title('Linear Regression')
plt.xlabel('x')
plt.ylabel('f_wb')
# 显示图形
plt.show()

二、成本函数（Cost function）

（1）什么是成本函数

在线性回归模型中，成本函数（Cost function）通常采用最小二乘法（Least Square Method）来定义。

（2）成本函数的数学形式

理论

成本函数就是所有训练样本的预测值与实际值之间的误差平方和。

$J(w,b) = \frac{1}{2m}\sum\limits_{i=0}^{m-1}(f_{w,b}(x^{(i)})-y^{(i)})^2$

$(f_{w,b}(x^{(i)})-y^{(i)})^2$ ：目标值和预测之间的平方差。

$\sum\limits_{i=0}^{m-1}(f_{w,b}(x^{(i)})-y^{(i)})^2$ ：每个目标值和预测之间平方差的和

$J(w,b) = \frac{1}{2m}\sum\limits_{i=0}^{m-1}(f_{w,b}(x^{(i)})-y^{(i)})^2$ ：总的平均方差

请注意，求和范围通常从1到m，而代码将从0到m-1。

实践

由上图可以清晰看到随着w的变化，总的平均方差也在改变，因此可以通过梯度下降的方法最小化成本来改变w和b就可以得到一条与数据完美拟合的线


# 导入numpy、matplotlib模块
import numpy as np
from matplotlib import pyplot as plt
# 设定特征值
x_train = np.array([1, 2 , 3])
y_train = np.array([1, 2 , 3])
x = np.array([1, 2, 3])
# 设定权重
w=[]
for n in range(-1,6,1):
    w.append(n/2)
# 设定偏移
b=0
# 获取x（特征值）数量
m = len(x)
# 定义变量
cost_sum = 0
J_wb=[]
# 计算成本函数
for j in range(len(w)):
    for i in range(m):
        f_wb = w[j] * x[i] + b
        cost = (f_wb - y_train[i]) ** 2
        cost_sum = cost_sum + cost
    j_wb = (1 / (2 * (m+1))) * cost_sum
    cost_sum = 0
    J_wb.append(j_wb)
# 绘制成本函数点
plt.scatter(w, J_wb)
# 绘制成本函数线
plt.plot(w, J_wb, color='red')
# 添加标题和标签
plt.title('Cost function')
plt.xlabel('w')
plt.ylabel('J_wb')
# 显示图形
plt.show()

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/173359