【Python】NumPy 的分位数实现 quantile() 是否出错_numpy quantile

四分位数.

• 给定长度为 $n$ 的升序序列，四分位数有 $3$ 个，其位置由下式给出：$$Q_i=\frac{i}{4}(n+1),i=1,2,3\text{\hspace{1em}(1)}$$
• 当 $Q_i$ 为分数时，意味着分位数位于两数据之间，此时可以使用内插法确定分位数数值。设 $Q_i=x.y$ 是一个分数，$x$ 位置元素为 $A$，$x+1$ 位置元素为 $B$，并且记 $p=0.y$，那么常见的分位数 $M$ 计算方式有以下几种：$$M=(1-p)\cdot A+p\cdot B\text{\hspace{1em}(2.1)}$$$$M=\frac{A+B}{2}\text{\hspace{1em}(2.2)}$$$$M=A\text{\hspace{1em}(2.3)}$$$$M=B\text{\hspace{1em}(2.4)}$$$$M=f\cdot A+(1-f)\cdot B,f=\mathcal{I}(p\le 0.5)\text{\hspace{1em}(2.5)}$$
• 其中 $(2.1)$ 为线性插值法，可以视为 $A,B$ 的线性组合，并且距离 $Q_i$ 位置越近的值拥有更高的权重；
• $(2.2)$ 取 $A,B$ 均值；$(2.3),(2.4)$ 固定地取较小值和较大值；$(2.5)$ 取位置更接近的值作为分位数。

numpy.quantile()

• $\mathrm{N}\mathrm{u}\mathrm{m}\mathrm{P}\mathrm{y}$ 中分位数函数 $\mathrm{q}\mathrm{u}\mathrm{a}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{l}\mathrm{e}()$ 定义如下：

numpy.quantile(a, q, axis=None, out=None,
overwrite_input=False, interpolation='linear', 
keepdims=False)
1
2
3

• 参数说明截图如下：

• 重点关注 $\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{p}\mathrm{o}\mathrm{l}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}$ 参数，其默认值 linear 采用的分位数计算方式为 $(2.1).$

实例与代码.

• 给定如下一组序列：

score = [2710,2755,2850,
         2880,2880,2890,
         2920,2940,2950,
         3050,3130,3325]
1
2
3
4

• 基于 $(1)$ 式计算第一、三分位数位置如下：$$Q_1=\frac{1}{4}(12+1)=3.25$$$$Q_3=\frac{3}{4}(12+1)=9.75$$
• 依据 $(2.1)$ 式进行线性内插得到分位数值：$$M_1=2850\cdot 0.75+2880\cdot 0.25=2857.5$$$$M_3=2950\cdot 0.25+3050\cdot 0.75=3025.0$$
• 依据 $(2.5)$ 式进行最近取值得到分位数值：$$M_1=2850$$$$M_3=3050$$
• 编写 $\mathrm{P}\mathrm{y}\mathrm{t}\mathrm{h}\mathrm{o}\mathrm{n}$ 代码计算第一、三分位数数值：

quantile25 = np.quantile(score,q=0.25,
                         interpolation='linear')
quantile75 = np.quantile(score,q=0.75,
                         interpolation='linear')

print('25%-q:',quantile25)
print('75%-q:',quantile75)
1
2
3
4
5
6
7

• 发现理论值和 $\mathrm{P}\mathrm{y}\mathrm{t}\mathrm{h}\mathrm{o}\mathrm{n}$ 计算值不同，并且存在下式：$$2872.5=2850\cdot 0.25+2880\cdot 0.75$$$$2975.0=2950\cdot 0.75+3050\cdot 0.25$$即距离 $Q_i$ 位置较远的值反而拥有更高的权重，与 $i+(j-i)\ast \mathrm{f}\mathrm{r}\mathrm{a}\mathrm{c}$ 的线性插值公式相反。类似的情况还发生在最近取值中：

quantile25 = np.quantile(score,q=0.25,
                         interpolation='nearest')
quantile75 = np.quantile(score,q=0.75,
                         interpolation='nearest')

# print('mid:',mid)
print('25%-q:',quantile25)
print('75%-q:',quantile75)
1
2
3
4
5
6
7
8

---

• 网络原因尚未研究源代码，但从行为推断，大概率是实现中权重赋予错误。
• 【20221125】 Python实现未出错，详细讨论见评论区。

---