devbox
小小林熬夜学编程
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

XGBoost解决多分类问题_多分类xgboost

作者：小小林熬夜学编程 | 2024-02-16 22:46:53

赞

踩

多分类xgboost

XGBoost解决多分类问题

写在前面的话

    XGBoost官方给的二分类问题的例子是区别蘑菇有无毒，数据集和代码都可以在xgboost中的demo文件夹对应找到，我是用的Anaconda安装的XGBoost，实现起来比较容易。唯一的梗就是在终端中运行所给命令：  ../../xgboost mushroom.conf 时会报错，是路径设置的问题，所以我干脆把xgboost文件夹下的xgboost.exe拷到了mushroom.conf配置文件所在文件夹下，这样直接定位到该文件夹下就可以运行： xgboost mushroom.conf。二分类数据预处理，也就是data wraggling部分的代码有一定的借鉴意义，值得一看。
    多分类问题给的例子是根据34个特征识别6种皮肤病，由于终端中运行runexp.sh没有反应，也不报错，所以我干脆把数据集下载到对应的demo文件夹下了,主要的代码如下，原来有部分比较难懂的语句我自己加了一些注释，这样理解起来就会顺畅多了。

[python]  view plain  copy
  1. #! /usr/bin/python  
  2. import numpy as np  
  3. import xgboost as xgb  
  4.   
  5. # label need to be 0 to num_class -1  
  6. # if col 33 is '?' let it be 1 else 0, col 34 substract 1  
  7. data = np.loadtxt('./dermatology.data', delimiter=',',converters={33: lambda x:int(x == '?'), 34: lambda x:int(x)-1 } )  
  8. sz = data.shape  
  9.   
  10. train = data[:int(sz[0] * 0.7), :] # take row 1-256 as training set  
  11. test = data[int(sz[0] * 0.7):, :]  # take row 257-366 as testing set  
  12.   
  13. train_X = train[:,0:33]  
  14. train_Y = train[:, 34]  
  15.   
  16.   
  17. test_X = test[:,0:33]  
  18. test_Y = test[:, 34]  
  19.   
  20. xg_train = xgb.DMatrix( train_X, label=train_Y)  
  21. xg_test = xgb.DMatrix(test_X, label=test_Y)  
  22. # setup parameters for xgboost  
  23. param = {}  
  24. # use softmax multi-class classification  
  25. param['objective'] = 'multi:softmax'  
  26. # scale weight of positive examples  
  27. param['eta'] = 0.1  
  28. param['max_depth'] = 6  
  29. param['silent'] = 1  
  30. param['nthread'] = 4  
  31. param['num_class'] = 6  
  32.   
  33. watchlist = [ (xg_train,'train'), (xg_test, 'test') ]  
  34. num_round = 5  
  35. bst = xgb.train(param, xg_train, num_round, watchlist );  
  36. # get prediction  
  37. pred = bst.predict( xg_test );  
  38.   
  39. print ('predicting, classification error=%f' % (sum( int(pred[i]) != test_Y[i] for i in range(len(test_Y))) / float(len(test_Y)) ))  
  40.   
  41. # do the same thing again, but output probabilities  
  42. param['objective'] = 'multi:softprob'  
  43. bst = xgb.train(param, xg_train, num_round, watchlist );  
  44. # Note: this convention has been changed since xgboost-unity  
  45. # get prediction, this is in 1D array, need reshape to (ndata, nclass)  
  46. yprob = bst.predict( xg_test ).reshape( test_Y.shape[0], 6 )  
  47. ylabel = np.argmax(yprob, axis=1)  # return the index of the biggest pro  
  48.   
  49. print ('predicting, classification error=%f' % (sum( int(ylabel[i]) != test_Y[i] for i in range(len(test_Y))) / float(len(test_Y)) ))  

    结果如下：
[python]  view plain  copy
  1. [0] train-merror:0.011719   test-merror:0.127273  
  2. [1] train-merror:0.015625   test-merror:0.127273  
  3. [2] train-merror:0.011719   test-merror:0.109091  
  4. [3] train-merror:0.007812   test-merror:0.081818  
  5. [4] train-merror:0.007812   test-merror:0.090909  
  6. predicting, classification error=0.090909  
  7. [0] train-merror:0.011719   test-merror:0.127273  
  8. [1] train-merror:0.015625   test-merror:0.127273  
  9. [2] train-merror:0.011719   test-merror:0.109091  
  10. [3] train-merror:0.007812   test-merror:0.081818  
  11. [4] train-merror:0.007812   test-merror:0.090909  
  12. predicting, classification error=0.090909  
    
    不管是直接返回诊断类型，还是返回各类型的概率，然后取概率最大的那个对应的类型的index，结果都是一样的。

结语

    强烈建议大家使用python notebook来实现代码，当有不明白的代码时看一下执行后的结果能帮助我们很快理解。同时要感叹一下， 看大神们的代码感觉好牛X，对我这个XGBoost paper看过两遍还没能完全领略算法精髓的人来说只能拿来主义了，希望后面有机会去读一读算法源码。
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/blog/article/detail/97431
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号