赞
踩
上篇:机器学习(五) -- 无监督学习(1) --聚类1
下篇:
tips:标题前有“***”的内容为补充内容,是给好奇心重的宝宝看的,可自行跳过。文章内容被“
文章内容”删除线标记的,也可以自行跳过。“!!!”一般需要特别注意或者容易出错的地方。
本系列文章是作者边学习边总结的,内容有不对的地方还请多多指正,同时本系列文章会不断完善,每篇文章不定时会有修改。
由于作者时间不算富裕,有些内容的《算法实现》部分暂未完善,以后有时间再来补充。见谅!
文中为方便理解,会将接口在用到的时候才导入,实际中应在文件开始统一导入。
- sklearn.cluster.KMeans
-
- 导入:
- from sklearn.cluster import KMeans
-
- 语法:
- KMeans(n_clusters=8,init=‘k-means++’,n_init='warn', max_iter=300, tol=0.0001, verbose=0, random_state=None, copy_x=True, algorithm='lloyd')
- 参数:
- n_clusters:开始的聚类中心数量,默认=8,
- init:初始化方法,默认为‘k-means ++
-
- 属性:
- KMeans.cluster_centers_:簇中心的坐标
- KMeans.labels_:每个样本的标签
-
- 方法:
- KMeans.fit(x)
- KMeans.predict(x)
- KMeans.fit_predict(x)
- 计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)
- from sklearn.datasets import load_iris
-
- from sklearn.cluster import KMeans
-
- # 获取数据
- iris = load_iris()
- # 划分数据集
- x=iris.data
- y=iris.target
- # 实例化学习器
- kmeans = KMeans(n_clusters=3, random_state=1473, n_init='auto')
-
- # 模型训练
- kmeans.fit(x)
- # 用模型计算测试值,得到预测值
- y_pre = kmeans.predict(x)
-
- # 可视化
- plt.figure(figsize=(14,7))
- plt.subplot(121)
- # 绘制iris原本的类别
- plt.scatter(x[:, 0], x[:, 1], c=y)
-
- plt.subplot(122)
- # 绘制kmeans聚类结果
- plt.scatter(x[:, 0], x[:, 1], c=y_pre)
- plt.show()
- from sklearn.metrics import jaccard_score, fowlkes_mallows_score, adjusted_rand_score, davies_bouldin_score
- print('K均值聚类模型的Jaccard系数:', jaccard_score(y, y_pre,average='micro'))
- print('K均值聚类模型的FM系数:', fowlkes_mallows_score(y, y_pre))
- print('K均值聚类模型的调整Rand指数:', adjusted_rand_score(y, y_pre))
- print('K均值聚类模型的DB指数:', davies_bouldin_score(x, kmeans.labels_))
经过模型评估后通过的模型可以代入真实值进行预测。
make_blobs的API:
- sklearn.datasets.make_blobs
-
- 导入:
- from sklearn.datasets import make_blobs
-
- 方法:
- x, y = make_blobs(n_samples=1000,
- n_features=2,
- centers=[[-1, -1], [0, 0], [1, 1], [2, 2]],
- cluster_std=[0.4, 0.2, 0.2, 0.2],
- random_state=1473)
- x为样本特征,y为样本簇类别
- n_samples:样本数,默认=100;
- n_features:样本特征数(样本维度),默认=2;
- centers:族中心个数,可以是数字,也可以是点坐标,默认=3;
- cluster_std:簇标准差,默认=10;
- from sklearn.datasets import make_blobs
-
- # 获取数据
- x,y = make_blobs(n_samples=150, centers=3, n_features=2, random_state=1734)
-
- # 可视化
- plt.figure()
- plt.scatter(x[:, 0], x[:, 1], c='b')
- plt.show()
- class KMedoids1:
- def __init__(self,k=3,max_iter=100):
- self.k = k
- self.max_iter = max_iter
-
- def euclidean_distance(self, x1, x2):
- return np.sqrt(np. sum( (x1 - x2) **2))
-
- def fit(self, X):
- n_samples,n_features = X.shape
-
- #初始化聚类中心,从样本点中随机选取k个点作为聚类中心
- centers = np.sort(np.random.choice(n_samples,self.k,replace=False))
- medoids = X[centers]
-
- for i in range(self.max_iter) :
- #计算每个样本点到每个聚类中心之间的距离
- distances = np.zeros((n_samples,self.k))
- for j in range(self.k):
- distances[:,j] = np.apply_along_axis(self.euclidean_distance,1,X,medoids[j])
-
- #找到距离每个聚类中心最近的点,作为新的聚类中心
- closest_centroid = np.argmin(distances,axis=1)
- for j in range(self.k):
- medoids[j] = np.median( X[closest_centroid == j],axis=0)
-
- self.medoids = medoids
- self.labels = closest_centroid
- return self
- kmedoids=KMedoids1(3)
- kmedoids.fit(x)
- plt.figure()
- plt.scatter(x[:, 0], x[:, 1], c=kmedoids.labels, cmap='viridis', marker='o', label='Data points')
- plt.scatter(kmedoids.medoids[:,0],kmedoids.medoids[:,1], c='red', marker='X', s=100, label='Medoids')
- plt.title('K-medoids聚类')
- plt.xlabel('特征 1')
- plt.ylabel('特征 2')
- plt.show()
经过模型评估后通过的模型可以代入真实值进行预测。
- sklearn.cluster.AgglomerativeClustering
-
- 导入:
- from sklearn.cluster import AgglomerativeClustering
-
- 语法:
- AgglomerativeClustering(n_clusters=2, *, affinity='euclidean', memory=None, connectivity=None, compute_full_tree='auto', linkage='ward', distance_threshold=None)
- 参数:
- n_clusters:指定聚类的簇数。
- affinity:指定距离度量的方式,可以是预定义的
- (如"euclidean"、"l1"、"l2"、"manhattan"等)或者自定义的距离度量函数。
- linkage:指定连接方式,用于计算两个簇之间的距离,可以是预定义的字符串
- (如" single"、"ward"、"complete"、"average"等)或者自定义的连接函数。
- connectivity:指定连接矩阵,用于限制哪些样本可以连接到一起的布尔数组或可调用对象。
- compute_full_tree:指定是否计算完整的层次聚类树。
- distance_threshold:指定停止合并簇的距离阈值。
- memory:指定内存缓存的路径,以便加速计算。
- compute_distances:指定是否在计算连接矩阵时计算距离矩阵。
-
-
- 属性:
-
-
- 方法:
- from scipy.cluster.hierarchy import linkage #导入linage函数用于层次聚类
- from scipy.cluster.hierarchy import dendrogram #dendrogram函数用于将聚类结果绘制成树状图
- from scipy.cluster.hierarchy import fcluster #fcluster函数用于提取出聚类的结果
- from sklearn.datasets import make_blobs #make_blobs用于生成聚类算法的测试数据
- from sklearn.cluster import AgglomerativeClustering #自底向上层次聚类算法
-
- # 获取数据
- centers = [[1, 1], [-1, -1], [1, -1]]
- X, labels_true = make_blobs(n_samples=750, centers=centers, cluster_std=0.4, random_state=1473)
-
- # 可视化
- plt.figure()
- plt.scatter(X[:, 0], X[:, 1], c='b')
- plt.show()
- #层次聚类实现
- Z = linkage(X, method='ward', metric='euclidean')
- print(Z.shape)
- print(Z[: 5])
- # 用模型计算测试值,得到预测值
-
-
- #
- #画出树状图
- plt.figure()
- dendrogram(Z, truncate_mode='lastp', p=20, show_leaf_counts=False, leaf_rotation=90, leaf_font_size=15,
- show_contracted=True)
- plt.show()
- #根据临界距离返回聚类结果
- d = 15
- labels_1 = fcluster(Z, t=d, criterion='distance')
- print(labels_1[: 100]) # 打印聚类结果
- print(len(set(labels_1))) # 看看在该临界距离下有几个 cluster
-
- #根据聚类数目返回聚类结果
- k = 3
- labels_2 = fcluster(Z, t=k, criterion='maxclust')
- print(labels_2[: 100])
- list(labels_1) == list(labels_2) # 看看两种不同维度下得到的聚类结果是否一致
-
- #聚类的结果可视化,相同的类的样本点用同一种颜色表示
- plt.figure()
- plt.scatter(X[:, 0], X[:, 1], c=labels_2, cmap='prism')
- plt.show()
经过模型评估后通过的模型可以代入真实值进行预测。
- from time import time
- import numpy as np
- from sklearn.datasets import make_blobs
- from scipy.cluster.hierarchy import linkage, fcluster
- from sklearn.metrics.cluster import adjusted_mutual_info_score
- import matplotlib.pyplot as plt
-
- #生成样本点
- centers = [[1, 1], [-1, -1], [1, -1]]
- X, labels = make_blobs(n_samples=750, centers=centers,
- cluster_std=0.4, random_state=0)
-
-
- #可视化聚类结果
- def plot_clustering(X, labels, title=None):
- plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='prism')
- if title is not None:
- plt.title(title, size=17)
- plt.axis('off')
- plt.tight_layout()
-
- #进行 Agglomerative 层次聚类
- linkage_method_list = ['single', 'complete', 'average', 'ward']
-
- plt.figure(figsize=(10, 8))
- ncols, nrows = 2, int(np.ceil(len(linkage_method_list) / 2))
- plt.subplots(nrows=nrows, ncols=ncols)
- for i, linkage_method in enumerate(linkage_method_list):
- print('method %s:' % linkage_method)
- start_time = time()
- Z = linkage(X, method=linkage_method)
- labels_pred = fcluster(Z, t=3, criterion='maxclust')
- print('Adjust mutual information: %.3f' % adjusted_mutual_info_score(labels, labels_pred))
- print('time used: %.3f seconds' % (time() - start_time))
- plt.subplot(nrows, ncols, i + 1)
- plot_clustering(X, labels_pred, '%s linkage' % linkage_method)
- plt.show()
- sklearn.cluster.DBSCAN
-
- 导入:
- from sklearn.cluster import DBSCAN
-
- 语法:
- DBSCAN(eps=0.5, min_samples=5, metric='euclidean', algorithm='auto', leaf_size=30, p=None, n_jobs=1)
- 参数:
- eps:两个样本之间的最大距离,即扫描半径
- min_samples :作为核心点的话邻域(即以其为圆心,eps为半径的圆,含圆上的点)中的最小样本数(包括点本身)。
- metric :度量方式,默认为欧式距离,还有metric=‘precomputed’(稀疏半径邻域图)
- algorithm:近邻算法求解方式,有四种:‘auto’, ‘ball_tree’, ‘kd_tree’, ‘brute’
- leaf_size:叶的大小,在使用BallTree or cKDTree近邻算法时候会需要这个参数
- n_jobs :使用CPU格式,-1代表全开
-
-
- 属性:
- DBSCAN.core_sample_indices_:核心样本指数。(此参数在代码中有详细的解释)
- DBSCAN.labels_:数据集中每个点的集合标签给,噪声点标签为-1。
- DBSCAN.components_ :核心样本的副本
-
- 方法:
- DBSCAN.fit(x)
- DBSCAN.predict(x)
- DBSCAN.fit_predict(x)
- 计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)
make_circles的API:
生成数据集,形成一个二维的大圆,包含一个小圆
- sklearn.datasets.make_circles
-
- 导入:
- from sklearn.datasets import make_circles
-
- 方法:
- x, y = make_circles(n_samples=5000, factor=.6, noise=.05, random_state=1473)
- x为样本特征,y为样本簇类别
- n_samples:样本数,默认=100;
- factor:0 < double <1 默认值0.8,内外圆之间的比例因子
- noise:设置噪声,小的话比较集中
-
- from sklearn import datasets
- from sklearn.cluster import DBSCAN
-
- # 获取数据
- # 生成两簇非凸数据
- x1, y2 = make_blobs(n_samples=1000, n_features=2,
- centers=[[1.2, 1.2]], cluster_std=[[.1]],
- random_state=9)
-
- # 一簇对比数据
- x2, y1 = datasets.make_circles(n_samples=5000, factor=.6, noise=.05)
- x = np.concatenate((x1, x2))
- plt.scatter(x[:, 0], x[:, 1], marker='o')
- plt.show()
- # 实例化学习器
- dbs = DBSCAN(eps=0.1, min_samples=12).fit(x)
- print('DBSCAN模型:\n', dbs)
-
- # 模型训练+预测
- ds_pre = dbs.fit_predict(x)
- # 用模型计算测试值,得到预测值
-
-
- #
- # 绘制DBSCAN模型聚类结果
- plt.scatter(x[:, 0], x[:, 1], c=ds_pre)
- plt.title('DBSCAN', size=17)
- plt.show()
经过模型评估后通过的模型可以代入真实值进行预测。
- sklearn.cluster.KMeans
-
- 导入:
- from sklearn.cluster import KMeans
-
- 语法:
- KMeans(n_clusters=8,init=‘k-means++’)
- n_clusters:开始的聚类中心数量
- init:初始化方法,默认为'k-means ++’
- labels_:默认标记的类型,可以和真实值比较(不是值比较)
- # API导入
- from sklearn.mixture import GaussianMixture
-
- # 获取数据
- # 生成模拟数据
- X, _ = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)
- # 实例化学习器
- gmm = GaussianMixture(n_components=4)
-
-
- # 模型训练
- gmm.fit(X)
- # 预测测试集结果
- clusters = gmm.predict(X)
-
-
- # 可视化
- plt.scatter(X[:, 0], X[:, 1], c=clusters, cmap='viridis', marker='o', s=50)
- plt.title("Gaussian Mixture Model Clustering")
- plt.xlabel("Feature 1")
- plt.ylabel("Feature 2")
- plt.show()
经过模型评估后通过的模型可以代入真实值进行预测。
旧梦可以重温,且看:机器学习(五) -- 无监督学习(1) --聚类1
欲知后事如何,且看:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。