二十、【机器学习】【非监督学习】- 均值漂移 (Mean Shift)

系列文章目录

第一章 【机器学习】初识机器学习

第二章 【机器学习】【监督学习】- 逻辑回归算法 (Logistic Regression)

第三章 【机器学习】【监督学习】- 支持向量机 (SVM)

第四章【机器学习】【监督学习】- K-近邻算法 (K-NN)

第五章【机器学习】【监督学习】- 决策树 (Decision Trees)

第六章【机器学习】【监督学习】- 梯度提升机 (Gradient Boosting Machine, GBM)

第七章 【机器学习】【监督学习】-神经网络 (Neural Networks)

第八章【机器学习】【监督学习】-卷积神经网络 (CNN)

第九章【机器学习】【监督学习】-循环神经网络 (RNN)

第十章【机器学习】【监督学习】-线性回归

第十一章【机器学习】【监督学习】-局部加权线性回归 (Locally Weighted Linear Regression, LWLR)

第十二章【机器学习】【监督学习】- 岭回归 (Ridge Regression)

十三、【机器学习】【监督学习】- Lasso回归 (Least Absolute Shrinkage and Selection Operator)

十四、【机器学习】【监督学习】- 弹性网回归 (Elastic Net Regression)

十五、【机器学习】【监督学习】- 神经网络回归 

十六、【机器学习】【监督学习】- 支持向量回归 (SVR)

十七、【机器学习】【非监督学习】- K-均值 (K-Means) 

十八、【机器学习】【非监督学习】- DBSCAN (Density-Based Spatial Clustering of Applications with Noise)

---

目录

系列文章目录

一、非监督学习

（一）、定义

（二）、训练流程

（三）、基本算法分类

 二、均值漂移 (Mean Shift)

（一）、定义

（二）、基本概念

（三）、训练过程

1. 初始化

2. 计算偏移向量

3. 更新点的位置

4. 迭代

5. 应用于所有数据点

6. 形成聚类

7. 聚类后处理

8.注意事项

（四）、特点

（五）、适用场景

（六）、扩展

三、总结

---

一、非监督学习

（一）、定义

        非监督学习是一种机器学习方法，它处理的是没有标签的数据集。与监督学习不同，非监督学习算法不需要知道数据的正确分类或目标值。它的目标是通过数据内部的结构和模式来推断出有意义的信息，如数据的分布、聚类、降维或异常检测等。

（二）、训练流程

        非监督学习的训练流程通常包含以下几个步骤：

1. 数据准备：收集和预处理数据，可能包括数据清洗、缺失值处理、数据标准化或归一化等。

2. 模型选择：根据问题的性质选择合适的非监督学习算法。

3. 参数初始化：初始化模型的参数，这一步对于某些算法至关重要，如K-means聚类。

4. 模型训练：使用无标签数据训练模型，寻找数据中的结构或模式。这一过程可能涉及到迭代优化，直到满足某个停止准则，如收敛或达到预定的迭代次数。

5. 结果评估：评估模型的结果，这通常比监督学习更具有挑战性，因为没有明确的“正确答案”。评估可能基于内在指标（如聚类的紧凑度和分离度）或外在指标（如与已知分类的比较）。

6. 应用模型：使用训练好的模型对新数据进行分析或预测，如对新数据进行聚类或降维。

（三）、基本算法分类

        非监督学习算法可以大致分为以下几类：

1. 聚类算法：用于将数据点分组到不同的簇中，常见的算法有K-means、层次聚类、DBSCAN、Gaussian Mixture Models等。

2. 降维算法：用于减少数据的维度，同时尽可能保留数据的结构信息，常见的算法有PCA（主成分分析）、t-SNE（t-分布随机邻域嵌入）、自编码器等。

3. 关联规则学习：用于发现数据集中项之间的关系，如Apriori算法和Eclat算法。

4. 异常检测算法：用于识别数据集中的异常点或离群点，如Isolation Forest、Local Outlier Factor等。

5. 自组织映射（SOM）：一种神经网络模型，用于数据可视化和聚类，可以将高维数据映射到低维空间中。

6. 生成模型：如变分自编码器（VAE）和生成对抗网络（GAN），它们可以生成类似训练数据的新样本。

        非监督学习在很多场景中都有广泛应用，如客户细分、图像识别、自然语言处理、生物信息学和推荐系统等。由于其灵活性和在处理大量未标注数据时的优势，非监督学习是数据科学和人工智能领域的重要组成部分。

---

 二、均值漂移 (Mean Shift)

（一）、定义

     均值漂移算法是一种无监督学习方法，最初由 Fukunaga 和 Hostetler 在 1975 年提出。它是一种基于密度的聚类算法，用于估计数据的模式（局部最大值），并且不需要事先指定聚类的数量。均值漂移算法在图像处理、计算机视觉、目标跟踪和数据挖掘等领域有着广泛的应用。

（二）、基本概念

     均值漂移算法的核心思想是利用数据点的密度来确定聚类中心。算法假设数据点在高密度区域附近聚集，并且这些高密度区域的中心代表了潜在的聚类中心。算法通过迭代地将数据点移动到其邻域内其他点的平均位置（质心）来实现这一点，从而逐渐“漂移”至高密度区域的中心。

（三）、训练过程

     均值漂移算法是一种迭代的、基于密度的聚类方法，它能够自动检测数据的高密度区域并确定这些区域的中心，即模式。下面是均值漂移算法的详细训练步骤：

1. 初始化

• 选择一个数据点作为起始点，可以是数据集中的任意点，也可以是随机选择的点。
• 确定带宽参数（bandwidth）h，这是一个核函数的尺度参数，决定了考虑邻域的范围。带宽的选择对算法的性能有很大影响，较小的带宽可能会导致过拟合，较大的带宽可能会忽略数据的细节。

2. 计算偏移向量

• 对于选定的起始点，计算其邻域内所有点的加权平均位置，权重由核函数决定。常用的核函数是高斯核函数：​ ​其中 声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】