机器学习算法终极对比：树模型VS神经网络_二叉树和神经网络树的区别

树模型和神经网络，像一枚硬币的两面。在某些情况下，树模型的性能甚至优于神经网络。

由于神经网络的复杂性，它们常常被认为是解决所有机器学习问题的「圣杯」。而另一方面，基于树的方法并未得到同等重视，主要原因在于这类算法看起来很简单。然而，这两种算法看似不同，却像一枚硬币的正反面，都很重要。

树模型 VS 神经网络

基于树的方法通常优于神经网络。本质上，将基于树的方法和基于神经网络的方法放在同一个类别中是因为，它们都通过逐步解构来处理问题，而不像支持向量机或 Logistic 回归那样通过复杂边界来分割整个数据集。

很明显，基于树的方法沿着不同的特征逐步分割特征空间，以优化信息增益。不那么明显的是，神经网络也以类似的方式处理任务。每个神经元监视特征空间的一个特定部分（存在多种重叠） 。当输入进入该空间时，某些神经元就会被激活。

神经网络以概率的视角看待这种逐段模型拟合 (piece-by-piece model fitting)，而基于树的方法则采用确定性的视角。不管怎样，这两者的性能都依赖于模型的深度，因为它们的组件与特征空间的各个部分存在关联。

包含太多组件的模型（对于树模型而言是节点，对于神经网络则是神经元）会过拟合，而组件太少的模型根本无法给出有意义的预测。（二者最开始都是记忆数据点，而不是学习泛化。）

要想更直观地了解神经网络是如何分割特征空间的，可阅读这篇介绍通用近似定理的文章：https://medium.com/analytics-vidhya/you-dont-understand-neural-networks-until-you-understand-the-universal-approximation-theory-85b3e7677126。

虽然决策树有许多强大的变体，如随机森林、梯度提升、AdaBoost 和深度森林，但一般来说，基于树的方法本质上是神经网络的简化版本。

• 基于树的方法通过垂直线和水平线逐段解决问题，以最小化熵（优化器和损失）。神经网络通过激活函数来逐段解决问题。
• 基于树的方法是确定性的，而不是概率性的。这带来了一些不错的简化，如自动特征选择。
• 决策树中被激活的条件节点类似于神经网络中被激活的神经元（信息流）。
• 神经网络通过拟合参数对输入进行变换，间接指导后续神经元的激活。决策树则显式地拟合参数来指导信息流。（这是确定性与概率性相对应的结果。）

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。