Python之 【模型建立和测试-模型测试模板】_python 自定义breusch-godfrey检验

目录

1.线性回归

1.1导入所需模块

1.2读取数据

1.3模型参数估计

2.以下一组统计检验用于模型有效性的定量验证。

2.1显著性/重要性

3.固定性

4.模型的线性度

5.独立变量的多重关联性

5.1Variance Inflation Factor (VIF)差异性通货膨胀系数(VIF)​

5.2状态指数Condition Index​

5.3残留物规范性

6.残留物的自相关性

6.1ACF and PACF plots​

6.2残余自相关检验

7.残留物的异方差性

7.1残差与拟合值对比图

8.回归模型系数的稳定性

8.1前进稳定性

8.2后向稳定性

9.性能测试​

10.输入数据检查

10.1视觉检测

10.2基本统计

10.3高影响点

11.影响程度​

11.1DFFITS

11.2DFBETA

11.3 Cook's distance

---

 

1.线性回归

1.1导入所需模块

import warnings
warnings.filterwarnings("ignore")
 
import matplotlib.pyplot as plt
%matplotlib inline
 
import math
 
# imports
import pandas as pd
import numpy as np
 
# from sklearn.linear_model import LinearRegression  # for ml
import statsmodels.api as sm
 
# statistical tests
from statsmodels.tsa.stattools import adfuller, kpss  # stationarity
from statsmodels.stats.api import linear_harvey_collier  # linearity
from statsmodels.stats.diagnostic import linear_rainbow  # linearity
from statsmodels.stats.outliers_influence import variance_inflation_factor as vif  # multicollinearity
from scipy.stats import shapiro, anderson  # normality
from statsmodels.stats.stattools import durbin_watson  # autocorrelation
from statsmodels.stats.diagnostic import acorr_ljungbox, acorr_breusch_godfrey  # autocorrelation
from statsmodels.stats.diagnostic import het_breuschpagan  # heteroscedasticity
from statsmodels.stats.api import het_goldfeldquandt  # heteroscedasticity
 
# stat graphics
from statsmodels.graphics.regressionplots import plot_ccpr  # partial residuals plot
from statsmodels.graphics.gofplots import qqplot  # qq plot for normality of residuals
from statsmodels.graphics.tsaplots import plot_acf, plot_pacf  # autocorrelation plots

1.2读取数据

# 读取数据，并打印前5行
data = pd.read_csv('data/regdat1.csv', sep=';', header=0, index_col=0)
data.head()

1.3模型参数估计

#建立模型
X = data.iloc[:, 1:]
y = data.iloc[:, 0]
reg_model = sm.OLS(y, X)
reg_model = reg_model.fit()
 
reg_summary = reg_model.summary()
reg_summary

2.以下一组统计检验用于模型有效性的定量验证。

回归模型和系数的显著性：t准则、F准则。
变量和残差的稳定性：增强Dickey-Fuller检验（ADF）、Phillips-Perron检验（PP）、Kwiatkowski-Phillips-Schmidt-Shin检验（KPSS）。
因变量和自变量之间的依赖线：部分残差图，Ramsey RESET检验。
无多线性：VIF和条件指数。
正常残差：Q-Q图、Shapiro-Wilk检验、Kolmogorov-Smirnov检验、Jarka-Ber检验和Anderson-Darling检验。
无自相关：ACF和PACF图、Darbin-Watson检验、Broisch-Godfrey检验和Young Box检验。
残余物的同质性：残余物与对应值的关系图，Broysch-Pagan试验和Goldfeldt-Quandt试验。
回归系数稳定性：前向和后向稳定性检验，滚动周检验。
下文将详细介绍所有这些测试及其结果。

# 阈值
p_value_threshold = 0.05
confidence_threshold = 0.01
removal_rate = 0.3  # 30%
number_of_out_of_sample_data = 9

2.1显著性/重要性

变量值--T-тест

reg_summary.tables[1]

回归系数在5%的水平上显著。

回归方程的显著性--F-тест

reg_summary.tables[0]

F统计值为71.83，P值=6.1e-16，因此，回归方程显著。

3.固定性

对于一个时间序列模型，所有的因变量、自变量和残差都必须使用ADF检验、PP检验和KPSS检验来检验其稳定性。每个变量必须至少通过2次固定测试。对于每个固定检验，必须对因变量、自变量和残差进行固定性评价。

零平均静止性(仅针对残留物)；
单一平均静止性；以及
这是一种趋势性的静止。
确定的趋势静止性是指变量包含趋势(