机器学习分类_机器学习的分类

机器学习的分类

按学习目标分类

从学习目标的角度，机器学习大致可以分为回归、分类、排序、有结构预测等类别。这些类别的主要差别在于机器学习模型输出的格式以及如何衡量输出的准确程度。

按训练数据特性分类

从训练数据特性的角度，机器学习可以大体分为有监督学习、半监督学习、无监督学习、弱监督学习等。

• 有监督学习：训练集中的每个训练数据都有标签，在每个训练样本数上都可以精确地计算损失，并根据损失对模型进行优化
• 半监督学习：训练集中同时存在有标签的数据和无标签的数据。人们需要对无标签数据进行预处理（如根据它们和有标签数据的相似性来预测其伪标签，或者计算它们彼此之间的相似性以获取对整个数据集分布的先验知识），然后利用它们来协助原有的训练过程（比如把伪标签当作真实标 签使用，或把数据集分布作为正则项来增强模型的泛化能力）
• 无监督学习：训练集中的数据都是无标签的。学习的目的是从数据中发掘关联规则，或利用数据在输入空间中的相互关系（如相似性、距离、偏序关系等）对数据进行聚类和影响力排序。
• 弱监督学习：存在某种形式的奖励信号，该信号可以用于模型训练，但是没有样本标签那么直接、准确。强化学习是一类典型的弱监督学习问 题，它不依赖预先给定的离线训练数据，而是通过与环境的试探性交互来进行学习。具体而言，学习机制通过选择并执行某些动作，导致环境状态变化，并得到来自环境的奖励信号。学习的目标是寻找一个合适的动作选择策略，使产生的动作序列获得最优的累计奖励

按模型复杂程度分类

从模型复杂程度的角度，机器学习可以分为线性模型与非线性模型（或浅层模型与深层模型）

• 线性模型包括线性回归、逻辑回归、线性支持向量机等 。 这些模型可 以通过核化进行非线性变换，从而获得更加强大的表达能力。
• 非线性模型包括决策树、深层神经网络(包括全连接神经网络、卷积神经网络、循环神经网络等)。它们具有很强的表达能力，可以更好地拟合训练数据。

按模型功能分类

从模型的功能角度，机器学习可以划分为生成模型和判别模型。

• 生成模型在学习过程中通常以最大化训练数据的似然为目的，关注的 是输入样本和标签的联合概率分布。生成模型要学习的概率分布比较复杂，但适用场合很丰富，既可以用来完成分类任务，也可以实现概率密度估计或样本的随机生成。
• 判别模型通常最大化的是条件似然，也就是关注在给定输入样本的前提下标签的条件概率。判别模型单刀直入，解决的是一个判别问题，不需要对联合分布做不必要的刻画，学习效率比较高，但适用场景也因此受到 一定程度的限制。