python统计分析--3.线性回归四种算法_分段线性回归代码

几种加速方法
statsmodel–>sklearn
ols最小二乘法，运算时间长，处理速度慢，占用内存大
sgd梯度下降法–需要内存小，可以处理大型数据—可以处理过拟合和稀疏数据（0和1）
正则化–占用内存小，可以处理过拟合和稀疏数据
n_jobs=-1 加速处理数据，所有内存来处理数据
批次/在线/mini bactgh加速
Gpu、cpu加速，sklearn不擅长Gpu、cpu加速，深层神经网络可以进行加速

1. 最小二乘法

1.1 最小二乘法

最小二乘法是最佳估计的常见使用方法

1.2 正则化回归

在最小二乘法后面加上一个参数，解决出现数据中有稀疏数据和共线性场景（缺点：内存需要大）

1.3 SGD随机梯度下降法

不需要太多内存，效果会比上面两种好

实现梯度下降Python代码

#导入包
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from sklearn import linear_model
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline
plt.rcParams["font.sans-serif"]=["SimHei"]
plt.rcParams["axes.unicode_minus"]=False

#---------随机梯度下降（Stochastic Gradient Descent）---------------
x=np.array([1,2,3,4,5,6])
y=np.array([3,6,5,9,8,8])
plt.scatter(x,y)

#1.sgd最小化模型误差
"""
w=w-alpha*delta
注：w为回归系数，alpha学习率，在[0 1]之间，通常设为0.3

方程式：y=b0+b1*x
"""
#2.sgd算法

"""
迭代#1
令：b0=0， b1=0，则y=0+0*x
因为error(i)=p(i)-y(i),所以error(1)=0-3=-3,其中p是预测值

因为b0(t+1)=b0(t)-alpha*error，所以b0(t+1)=0-0.3*(-3)=0.9
因为b1(t+1)=b1(t)-alpha*error*x，所以b1(t+1)=0-0.3*(-3)*1=0.9

迭代#2
令：b0=0.9， b1=0.9，则y=0.9+0.9*x
因为error(i)=p(i)-y(i),所以error(1)=2.7-6=-3.3

因为b0(t+1)=b0(t)-alpha*error，所以b0(t+1)=0.9-0.3*(-3.3)=1.89
因为b1(t+1)=b1(t)-alpha*error*x，所以b1(t+1)=0.9-0.3*(-3.3)*2=2.88

迭代#3......

注：一共6行数据，迭代后重新从第一行开始，则6次迭代为一个epoch（全部样本训练一次）
"""
print()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45

2. 相关分析

导入需要的安装包，和读取文件

#导入包
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from sklearn import linear_model
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline
plt.rcParams["font.sans-serif"]=["SimHei"]
plt.rcParams["axes.unicode_minus"]=False

#使用pandas读取数据支持xls和xlsx
data=pd.read_excel("运动.xlsx")
data1=pd.read_excel("运动1.xlsx")
data.head(2)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

• 各种图形的程序

#相关分析corr
plt.scatter(x="运动时间",y="体重",s=100,data=data,alpha=0.3)#alpha=气泡透明度，22为尺寸
data.corr(method="spearman")#显示所有变量，method=pearson、kendall、spearman
data.corr()["体重"]#显示绩效总分与其他变量的相关系数
sns.heatmap(data.corr(method="spearman"),cmap='tab10_r')
sns.pairplot(data=data.iloc[:,[0,1,2,3,4,5]],vars=["运动时间", "骑行时间","体重"],hue='亲缘')
plt.show()
from scipy import stats
r,p=stats.pearsonr(data["体重"],data["运动时间"])#显示p值
print(r,p)
1
2
3
4
5
6
7
8
9
10

• 散点图

#相关分析corr
plt.scatter(x="运动时间",y="体重",s=100,data=data,alpha=0.3) #alpha=气泡透明度，22为尺寸
1
2

数据大多数集中在0.5-1之间

• 热力图

#相关分析corr
sns.heatmap(data.corr(method="spearman"),cmap='tab10_r')
1
2

看各变量之间的相关性

• 配对散点图

#相关分析corr
sns.pairplot(data=data.iloc[:,[0,1,2,3,4,5]],vars=["运动时间", "骑行时间","体重"],hue='亲缘')
1
2

sns.pairplot(data=data1.iloc[:,[0,1,2,3,4,5]],vars=["运动时间", "骑行时间","体重"],hue='亲缘')#hue表示以什么为分组
1

线性回归只适合于中间部分线性，两端不太实用，需要插入一些函数去修正这个参数

#---------老样本和新样本预测----------------
x=data1.iloc[:,1:6]
x_new=pd.DataFrame([{'饮食':2,'性别':2,'亲缘':1,'运动时间':3.22,'骑行时间':1.36}])
result.predict(x_new)
1
2
3
4

线性预测的结果不是很好，预测出人的体重为36.627公斤，与实际值相差很大，需要去修正，插入一些函数

• 笔记