spark中的online均值/方差统计_spark 方差

1. 统计量

这个summarizer用于计算样本各维特征的均值，方差等常用统计量

class MultivariateOnlineSummarizer extends MultivariateStatisticalSummary with Serializable {
   

  private var n = 0
  //均值
  private var currMean: Array[Double] = _
  //用于方差统计
  private var currM2n: Array[Double] = _
  //平方和
  private var currM2: Array[Double] = _
  //L1范数
  private var currL1: Array[Double] = _
  //样本计数
  private var totalCnt: Long = 0
  //所有样本weight的和
  private var totalWeightSum: Double = 0.0
  //weight平方和，用于计算方差
  private var weightSquareSum: Double = 0.0
  //每维特征非0的权重和
  private var weightSum: Array[Double] = _
  //非0计数
  private var nnz: Array[Long] = _
  //最大值
  private var currMax: Array[Double] = _
  //最小值
  private var currMin: Array[Double] = _
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

2. online统计

这里的统计项，除了均值和方差，其他的直接计算即可，
Wikipedia给出了带权online统计算法，这里的算法支持分布式统计，各部分样本先合并，然后各个统计器再合并。样本统计

$$E_{N}=E_{N-1}+\frac{w_N}{\sum_{i=0}^N wi} (x-E_{N-1}) \cdots\cdots (1) \\ S_N=S_{N-1}+w_{N}*(x-E_{N-1})(x-E_N) \cdots\cdots (2)$$
$E_N$， $S_N$，