devbox
黑客灵魂
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

机器学习常用算法之分类问题_机器学习算法用于分类问题

作者：黑客灵魂 | 2024-06-23 19:05:04

赞

踩

机器学习算法用于分类问题

一、简单分类器（线性分类）

原理示意：

输入    输出
3   1      0
2   5      1
1   8      1
6   4      0
5   2      0
3   5      1
4   7      1
4  -1     0
7   5      ?->0

  1. import numpy as np
  2. import matplotlib.pyplot as mp
  3.  
  4. x = np.array([
  5.     [3, 1],
  6.     [2, 5],
  7.     [1, 8],
  8.     [6, 4],
  9.     [5, 2],
  10.     [3, 5],
  11.     [4, 7],
  12.     [4, -1]])
  13. y = np.array([0, 1, 1, 0, 0, 1, 1, 0])
  14.  
  15. l, r, h = x[:, 0].min() - 1, x[:, 0].max() + 1, 0.05
  16. b, t, v = x[:, 1].min() - 1, x[:, 1].max() + 1, 0.05
  17. grid_x = np.meshgrid(np.arange(l, r, h),
  18.                      np.arange(b, t, v))
  19. flat_x = np.c_[grid_x[0].ravel(),
  20.                grid_x[1].ravel()]
  21. flat_y = np.zeros(len(flat_x), dtype=int)
  22. flat_y[flat_x[:, 0] < flat_x[:, 1]] = 1
  23. grid_y = flat_y.reshape(grid_x[0].shape)
  24.  
  25. mp.figure('Simple Classification', facecolor='lightgray')
  26. mp.title('Simple Classification', fontsize=20)
  27. mp.xlabel('x', fontsize=14)
  28. mp.ylabel('y', fontsize=14)
  29. mp.tick_params(labelsize=10)
  30.  
  31. mp.pcolormesh(grid_x[0], grid_x[1], grid_y, cmap='gray')
  32.  
  33. mp.scatter(x[:, 0], x[:, 1], c=y, cmap='brg', s=60)
  34. mp.show()

二、逻辑分类（线性分类+非线性函数）

2.1 预测函数
x1 x2 -> y
              1
y = -----------
       1 + e^-z
z = k1x1 + k2x2 + b

2.2 成本函数（损失函数）
交叉熵误差
J(k1,k2,b) = sigma(-ylog(y')-(1-y)log(1-y'))/n +m
            # n 为样本总数；m 为正则函数(||k1,k2,b||)x正则强度(惩罚系数)
            # -ylog(y`)-(1-y)log(1-y`) 为交叉熵函数
                 当y=0时，第一项为0，交叉熵函数值趋向于0；
                 当y=1时，第一项为0，交叉熵函数值趋向于无穷大
x x -> 0.9 1
x x -> 0.2 0

  1. sklearn.linear_model.LogisticRegression(
  2.     solver='liblinear', C=正则强度(惩罚系数))

2.3 多元分类
                  A   B    C
... -> A 1 0.9 0.1 0.3 A
... -> B 0 0.3 0.6 0.4 B
... -> C 0 0.1 0.2 0.6 C

2.4 示例

  1. import numpy as np
  2. import sklearn.linear_model as lm
  3. import matplotlib.pyplot as mp
  4.  
  5. x = np.array([
  6.     [4, 7],
  7.     [3.5, 8],
  8.     [3.1, 6.2],
  9.     [0.5, 1],
  10.     [1, 2],
  11.     [1.2, 1.9],
  12.     [6, 2],
  13.     [5.7, 1.5],
  14.     [5.4, 2.2]])
  15. y = np.array([0, 0, 0, 1, 1, 1, 2, 2, 2])
  16. model = lm.LogisticRegression(solver='liblinear',
  17.                               C=1000)
  18. model.fit(x, y)
  19. # 绘图区域（限定范围）
  20. l, r, h = x[:, 0].min() - 1, x[:, 0].max() + 1, 0.005
  21. b, t, v = x[:, 1].min() - 1, x[:, 1].max() + 1, 0.005
  22. grid_x = np.meshgrid(np.arange(l, r, h),
  23.                      np.arange(b, t, v))
  24. flat_x = np.c_[grid_x[0].ravel(), grid_x[1].ravel()]
  25. flat_y = model.predict(flat_x)
  26. grid_y = flat_y.reshape(grid_x[0].shape)
  27.  
  28. mp.figure('Logistic Classification',
  29.           facecolor='lightgray')
  30. mp.title('Logistic Classification', fontsize=20)
  31. mp.xlabel('x', fontsize=14)
  32. mp.ylabel('y', fontsize=14)
  33. mp.tick_params(labelsize=10)
  34. mp.pcolormesh(grid_x[0], grid_x[1], grid_y, cmap='gray')
  35. mp.scatter(x[:, 0], x[:, 1], c=y, cmap='brg', s=60)
  36. mp.show()

三、朴素贝叶斯分类

3.1 贝叶斯定理（条件概率）：
                    P(A)P(B|A)
      P(A|B) = -----------
                         P(B)

3.2 朴素贝叶斯分类
      求X样本属于C类别的概率
      当观察到X样本出现时，其所属的类别为C的概率：
      P(C|X)=P(C)P(X|C)/P(X)
      P(C)P(X|C) = P(C,X)=P(C,x1,x2,...,xn)
                                       =P(x1,x2,...,xn,C)
                                       =P(x1|x2,...,xn,C)P(x2,...,xn,C)
                                       =P(x1|x2,...,xn,C)P(x2|x3,...,xn,C)P(x3,...,xn,C)
      <朴素>：条件独立假设，即样本各个特征之间并无关联，不构成条件约束。
       P(C|X) = P(x1|C)P(x2|C)P(x3|C)...P(C)
      # P(C,X) 为事件C和X同时发生的概率（联合概率）
==>> X样本属于C类别的概率，正比于C类别的概率乘以C类别条件下X样本中每个特征值出现的概率值乘积。

  1. import numpy as np
  2. import sklearn.naive_bayes as nb
  3. import matplotlib.pyplot as mp
  4.  
  5. x, y = [], []
  6. with open('../ML/data/multiple1.txt', 'r') as f:
  7.     for line in f.readlines():
  8.         data = [float(substr) for substr in line.split(',')]
  9.         x.append(data[:-1])
  10.         y.append(data[-1])
  11.  
  12. x = np.array(x)
  13. y = np.array(y)
  14.  
  15. # 创建模型
  16. model = nb.GaussianNB()  # 使用高斯（正态分布）分布求概率
  17. model.fit(x, y)
  18. l, r, h = x[:, 0].min() - 1, x[:, 0].max() + 1, 0.005
  19. b, t, v = x[:, 1].min() - 1, x[:, 1].max() + 1, 0.005
  20. grid_x = np.meshgrid(np.arange(l, r, h),
  21.                      np.arange(b, t, v))
  22. flat_x = np.c_[grid_x[0].ravel(), grid_x[1].ravel()]
  23. flat_y = model.predict(flat_x)
  24. grid_y = flat_y.reshape(grid_x[0].shape)
  25.  
  26. # 绘图
  27. mp.figure('Naive Bayes Classification',
  28.           facecolor='lightgray')
  29. mp.title('Naive Bayes Classification', fontsize=20)
  30. mp.xlabel('x', fontsize=14)
  31. mp.ylabel('y', fontsize=14)
  32. mp.tick_params(labelsize=10)
  33. mp.pcolormesh(grid_x[0], grid_x[1], grid_y, cmap='gray')
  34. mp.scatter(x[:, 0], x[:, 1], c=y, cmap='brg', s=60)
  35. mp.show()

3.3 划分训练集和测试集

  1. sklearn.model_selection.train_test_split(
  2.      输入集合，输出集合，test_size=测试集占比，
  3.      random_state=随机种子源)
  4.   
  5. --> 得到：训练输入，测试输入，训练输出，测试输出
  1. import numpy as np
  2. import sklearn.naive_bayes as nb
  3. import matplotlib.pyplot as mp
  4. import sklearn.model_selection as ms
  5.  
  6. x, y = [], []
  7. with open('../ML/data/multiple1.txt', 'r') as f:
  8.     for line in f.readlines():
  9.         data = [float(substr) for substr in line.split(',')]
  10.         x.append(data[:-1])
  11.         y.append(data[-1])
  12.  
  13. x = np.array(x)
  14. y = np.array(y)
  15. train_x, test_x, train_y, test_y = \
  16.     ms.train_test_split(x, y, test_size=0.25,
  17.                         random_state=7)
  18. # 创建模型
  19. model = nb.GaussianNB()  # 使用高斯（正态分布）分布求概率
  20. model.fit(train_x, train_y)  # 训练
  21.  
  22. # 分类边界线
  23. l, r, h = x[:, 0].min() - 1, x[:, 0].max() + 1, 0.005
  24. b, t, v = x[:, 1].min() - 1, x[:, 1].max() + 1, 0.005
  25. grid_x = np.meshgrid(np.arange(l, r, h),
  26.                      np.arange(b, t, v))
  27. flat_x = np.c_[grid_x[0].ravel(), grid_x[1].ravel()]
  28. flat_y = model.predict(flat_x)
  29. grid_y = flat_y.reshape(grid_x[0].shape)
  30.  
  31. # 测试
  32. pred_test_y = model.predict(test_x)
  33. # 正确率
  34. print((pred_test_y == test_y).sum() /
  35.       pred_test_y.size)
  36. # 绘图
  37. mp.figure('Naive Bayes Classification',
  38.           facecolor='lightgray')
  39. mp.title('Naive Bayes Classification', fontsize=20)
  40. mp.xlabel('x', fontsize=14)
  41. mp.ylabel('y', fontsize=14)
  42. mp.tick_params(labelsize=10)
  43. mp.pcolormesh(grid_x[0], grid_x[1], grid_y, cmap='gray')
  44. mp.scatter(x[:, 0], x[:, 1], c=y, cmap='brg', s=60)
  45. mp.show()

四、随机森林分类

              森林深入学习请移步：https://www.cnblogs.com/fionacai/p/5894142.html

4.1 超参数取值调优 -- 验证曲线 

f1_score = f(模型对象超参数
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/黑客灵魂/article/detail/750400
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号