预测评价指标RMSE、MSE、MAE、MAPE、SMAPE

假设：
预测值： y ^ = { y 1 ^ , y 2 ^ , . . . , y n ^ } \mathbf{\hat{y}}=\{\hat{y_1}, \hat{y_2} , ... , \hat{y_n}\} y^​={y1​^​,y2​^​,...,yn​^​}
真实值： y = { y 1 , y 2 , . . . , y n } \mathbf{y}=\{y_1, y_2, ..., y_n\} y={y1​,y2​,...,yn​}

MSE

均方误差（Mean Square Error）
$$MSE=\frac{1}{n}\sum _{i=1}^n({\hat{y}}_i-y_i{)}^2$$

范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。

RMSE

均方根误差（Root Mean Square Error），其实就是MSE加了个根号，这样数量级上比较直观，比如RMSE=10，可以认为回归效果相比真实值平均相差10。
$$RMSE=\sqrt{\frac{1}{n}\sum _{i=1}^n({\hat{y}}_i-y_i{)}^2}$$
范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。

MAE

平均绝对误差（Mean Absolute Error）
$$MAE=\frac{1}{n}\sum _{i=1}^n|{\hat{y}}_i-y_i|$$
范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。

MAPE

平均绝对百分比误差（Mean Absolute Percentage Error）
$$MAPE=\frac{100\%}{n}\sum _{i=1}^n\left|\frac{{\hat{y}}_i-y_i}{y_i}\right|$$

范围[0,+∞)，MAPE 为0%表示完美模型，MAPE 大于 100 %则表示劣质模型。

可以看到，MAPE跟MAE很像，就是多了个分母。

注意点：当真实值有数据等于0时，存在分母0除问题，该公式不可用！

SMAPE

对称平均绝对百分比误差（Symmetric Mean Absolute Percentage Error）

$$SMAPE=\frac{100\%}{n}\sum _{i=1}^n\frac{|{\hat{y}}_i-y_i|}{(|{\hat{y}}_i|+|y_i|)/2}$$

注意点：当真实值有数据等于0，而预测值也等于0时，存在分母0除问题，该公式不可用！

Python代码

# coding=utf-8
import numpy as np
from sklearn import metrics

# MAPE和SMAPE需要自己实现
def mape(y_true, y_pred):
    return np.mean(np.abs((y_pred - y_true) / y_true)) * 100

def smape(y_true, y_pred):
    return 2.0 * np.mean(np.abs(y_pred - y_true) / (np.abs(y_pred) + np.abs(y_true))) * 100

y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0])
y_pred = np.array([1.0, 4.5, 3.5, 5.0, 8.0, 4.5, 1.0])

# MSE
print(metrics.mean_squared_error(y_true, y_pred)) # 8.107142857142858
# RMSE
print(np.sqrt(metrics.mean_squared_error(y_true, y_pred))) # 2.847304489713536
# MAE
print(metrics.mean_absolute_error(y_true, y_pred)) # 1.9285714285714286
# MAPE
print(mape(y_true, y_pred)) # 76.07142857142858，即76%
# SMAPE
print(smape(y_true, y_pred)) # 57.76942355889724，即58%
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

推荐阅读：评价指标系列文章

• 搜索推荐评价指标Precision@k、Recall@k、F1@k、NDCG@k
• 机器翻译评价指标BLEU