机器学习原理与实践（Python版）_《python机器学习:原理与实践》第三章实践四代码

我在CSDN开始的“机器学习之术”和“机器学习之道”两个专栏，已经累计有近150万的访问量，付费订阅用户也已超过500人。日前，我同合作者一道对两个专栏的文章进行了系统化的整理，并配合上Python代码实现（专栏文章中的实现为R、Python和MATLAB混合），现在已交由清华大学出版社付梓发行。

本书全面、系统地介绍了机器学习领域中的经典方法，并兼顾算法原理与实践运用。本书具体内容涉及回归分析（线性回归、多项式回归、非线性回归、岭回归、LASSO、弹性网络以及RANSAC等）、分类（感知机、逻辑回归、朴素贝叶斯、决策树、支持向量机、人工神经网络等）、聚类（k均值、EM算法、密度聚类、层次聚类以及谱聚类等）、集成学习（随机森林、AdaBoost、梯度提升等）、蒙特卡洛采样（拒绝采样、自适应拒绝采样、重要性采样、吉布斯采样和马尔科夫链蒙特卡洛等）、降维与流形学习（SVD、PCA和MDS等），以及概率图模型（例如，贝叶斯网络和隐马尔科夫模型）等话题。本书各章节的内容，基于全新设计的学习路线图编写，层层递进又紧密联系； 既适合自学，又有利于读者深化理解原理细节，从而建立完整而系统的全局观。

网上购买渠道：

• 京东
• 当当

数据集下载　百度云盘链接: https://pan.baidu.com/s/1qt9-7tmR0dLvpqfst5vjOw 提取码: sxki 

---

目录

第1章  机器学习初探

1.1初识机器学习

• 1.1.1从小蝌蚪找妈妈谈起
• 1.1.2机器学习的主要任务

1.2工欲善其事，必先利其器

• 1.2.1scikit-learn
• 1.2.2NumPy
• 1.2.3SciPy
• 1.2.4Matplotlib
• 1.2.5Pandas

1.3最简单的机器学习模型

• 1.3.1贝叶斯公式与边缘分布
• 1.3.2先验概率与后验概率
• 1.3.3朴素贝叶斯分类器原理

1.4泰坦尼克之灾

• 1.4.1认识问题及数据
• 1.4.2数据预处理
• 1.4.3特征筛选
• 1.4.4分类器的构建
• 1.4.5分类器的评估

第2章  一元线性回归

2.1回归分析的性质

2.2回归的基本概念

• 2.2.1总体的回归函数
• 2.2.2随机干扰的意义
• 2.2.3样本的回归函数

2.3回归模型的估计

• 2.3.1普通最小二乘法原理
• 2.3.2一元线性回归的应用
• 2.3.3经典模型的基本假定
• 2.3.4总体方差的无偏估计
• 2.3.5估计参数的概率分布

2.4正态条件下的模型检验

• 2.4.1拟合优度的检验
• 2.4.2整体性假定检验
• 2.4.3单个参数的检验

2.5一元线性回归模型预测

• 2.5.1点预测
• 2.5.2区间预测

第3章  多元线性回归

3.1多元线性回归模型

3.2多元回归模型估计

• 3.2.1最小二乘估计量
• 3.2.2多元回归的实例
• 3.2.3总体参数估计量

3.3从线代角度理解最小二乘

• 3.3.1最小二乘问题的通解
• 3.3.2最小二乘问题的计算

3.4多元回归模型检验

• 3.4.1线性回归的显著性
• 3.4.2回归系数的显著性

3.5多元线性回归模型预测

3.6格兰杰因果关系检验

第4章  线性回归进阶

4.1更多回归模型函数形式

• 4.1.1双对数模型以及生产函数
• 4.1.2倒数模型与菲利普斯曲线
• 4.1.3多项式回归模型及其分析

4.2回归模型的评估与选择

• 4.2.1嵌套模型选择
• 4.2.2赤池信息准则

4.3现代回归方法的新进展

• 4.3.1多重共线性
• 4.3.2从岭回归到LASSO
• 4.3.3正则化与没有免费午餐原理
• 4.3.4弹性网络
• 4.3.5RANSAC

第5章  逻辑回归与最大熵模型

5.1逻辑回归

5.2牛顿法解逻辑回归

5.3应用实例： 二分类问题

• 5.3.1数据初探
• 5.3.2建模

5.4多元逻辑回归

5.5最大熵模型

• 5.5.1最大熵原理
• 5.5.2约束条件
• 5.5.3模型推导
• 5.5.4极大似然估计

5.6应用实例： 多分类问题

• 5.6.1数据初探
• 5.6.2建模

第6章  神经网络

6.1从感知机开始

• 6.1.1感知机模型
• 6.1.2感知机学习
• 6.1.3多层感知机
• 6.1.4感知机应用示例

6.2基本神经网络

• 6.2.1神经网络结构
• 6.2.2符号标记说明
• 6.2.3后向传播算法

6.3神经网络实践

• 6.3.1建模
• 6.3.2Softmax与神经网络

第7章  支持向量机

7.1线性可分的支持向量机

• 7.1.1函数距离与几何距离
• 7.1.2最大间隔分类器
• 7.1.3拉格朗日乘数法
• 7.1.4对偶问题的求解

7.2松弛因子与软间隔模型

7.3非线性支持向量机方法

• 7.3.1从更高维度上分类
• 7.3.2非线性核函数方法
• 7.3.3机器学习中的核方法
• 7.3.4默瑟定理

7.4对数据进行分类的实践

• 7.4.1数据分析
• 7.4.2线性可分的例子
• 7.4.3线性不可分的例子

第8章  k近邻算法

8.1距离度量

8.2k近邻模型

• 8.2.1分类
• 8.2.2回归

8.3在Python中应用k近邻算法

8.4k近邻搜索的实现

• 8.4.1构建k-d-tree
• 8.4.2区域搜索
• 8.4.3最近邻搜索

第9章  决策树

9.1决策树基础

• 9.1.1Hunt算法
• 9.1.2基尼测度与划分
• 9.1.3信息熵与信息增益
• 9.1.4分类误差

9.2决策树进阶

• 9.2.1ID3算法
• 9.2.2C4.5算法

9.3分类回归树

9.4决策树剪枝

9.5决策树应用实例

第10章  集成学习

10.1集成学习的理论基础

10.2Bootstrap方法

10.3Bagging与随机森林

• 10.3.1算法原理
• 10.3.2应用实例

10.4Boosting与AdaBoost

• 10.4.1算法原理
• 10.4.2应用实例

10.5梯度提升

• 10.5.1梯度提升树与回归
• 10.5.2梯度提升树与分类
• 10.5.3梯度提升树的原理推导

第11章  聚类分析

11.1聚类的概念

11.2k均值算法

• 11.2.1算法描述
• 11.2.2应用实例——图像的色彩量化

11.3最大期望算法

• 11.3.1算法原理
• 11.3.2收敛探讨

11.4高斯混合模型

• 11.4.1模型推导
• 11.4.2应用实例

11.5密度聚类

• 11.5.1DBSCAN算法
• 11.5.2应用实例

11.6层次聚类

• 11.6.1AGNES算法
• 11.6.2应用实例

11.7谱聚类

• 11.7.1基本符号
• 11.7.2正定矩阵与半正定矩阵
• 11.7.3拉普拉斯矩阵
• 11.7.4相似图
• 11.7.5谱聚类切图
• 11.7.6算法描述
• 11.7.7应用实例

第12章  降维与流形学习

12.1主成分分析

12.2奇异值分解

• 12.2.1一个基本的认识
• 12.2.2为什么可以做SVD
• 12.2.3SVD与PCA的关系
• 12.2.4应用举例与矩阵的伪逆

12.3多维标度法

第13章  采样方法

13.1蒙特卡洛法求定积分

• 13.1.1无意识统计学家法则
• 13.1.2投点法
• 13.1.3期望法

13.2蒙特卡洛采样

• 13.2.1逆采样
• 13.2.2博克斯-穆勒变换
• 13.2.3拒绝采样与自适应拒绝采样

13.3矩阵的极限与马尔科夫链

13.4查普曼-柯尔莫哥洛夫等式

13.5马尔科夫链蒙特卡洛

• 13.5.1重要性采样
• 13.5.2马尔科夫链蒙特卡洛的基本概念
• 13.5.3梅特罗波利斯黑斯廷斯算法
• 13.5.4吉布斯采样

第14章  概率图模型

14.1共轭分布

14.2贝叶斯网络

• 14.2.1基本结构单元
• 14.2.2模型推理

14.3贝叶斯网络的Python实例

14.4隐马尔科夫模型

• 14.4.1随机过程
• 14.4.2从时间角度考虑不确定性
• 14.4.3前向算法
• 14.4.4维特比算法