统计分析建模与人工智能建模_传统建模与人工智能建模

目录

一、什么是人工智能？

二、什么是机器学习、深度学习？

三、什么是建模？

四、传统建模与人工智能建模？

五、应用案例。

六、参考文章。

       本文主要介绍统计分析建模与人工智能建模的区别，由于统计分析建模需要具备较强的专业知识，其中会涉及到人工智能、机器学习、深度学习等。为了方便读者阅读，文中会以传统建模来称呼统计分析建模，文章字数4900字左右，阅读时间8分钟。

一、什么是人工智能？

人工智能指的是由人类发明设计的智能系统，能够模仿人类的思考方式，实现人脑的部分功能，替代人脑解决特定问题。根据从底层到应用的技术逻辑, 人工智能可以分成基础层、技术层、应用层。

图 1

基础层从硬件和理论层面，为人工智能的实现提供了根本保障，主要包括AI芯片和深度学习算法。AI 芯片的发展进步，提供了越来越强的计算能力; 深度学习算法的建立，提供了AI解决问题的计算方法。

技术层是基于基础层的支撑，设计出的解决某一类过去需要人脑解决问题的通用方法，包括智能语音、计算机视觉、自然语言处理以及其他类这四大类人脑功能的处理方法。这些方法基于深度学习算法，根据具体的数据以及处理场景，形成了专门的成套技术处理方法和最佳实践。

应用层是基于技术层的能力，去解决具体现实生活中的问题。比如利用计算机视技术，实现金融、安防等多个领域的人脸识别;利用智能语音技术，实现智能音箱、录音笔等的语音识别。

从上面介绍的内容，可以看出，人工智能的关键要素有几点: 数据、算法、算力、领域专业能力。

数据,深度学习算法的核心在于通过优质的数据去训练，是否取得足量优质数据集是人工智能技术取得成功的关键。科大讯飞在智能语音领域的重要优势，是有足够优秀的方言训练数据，因此其语音识别产品能够较好应对各种方言的情况，形成护城河。

算法,虽然深度学习的核心框架相对固定，但是为了使得学习模型在特定应用场景取得较好效果，往往需要做很多的算法优化和工程优化，以使得模型最终在具体场景取得更好的效果，比如更快的计算效率，更准确的分类概率等。

算力,由于现在需要解决的具体问题越来越复杂，云端的人工智能算法对硬件的计算能力需求近乎无止境。虽然当前芯片技术不断进步，云计算的提供越来越完善，但是对于一些高难度高复杂度的人工智能工作，依然需要非常大的算力才能训练出足够好的解决模型。这样强大的算力也非常昂贵，很多小公司无力承担。

领域专业能力,人工智能技术的落地应用，最终还是要和应用场景结合起来，往往需要最终的实施公司，既理解行业痛点，又具备丰富的行业实施经验以及渠道能力，方能更好地将技术和具体硬件以及流程结合，取得好的实施效果。

二、什么是机器学习、深度学习？

在上面的介绍中，我们了解到人工智能的发展离不开机器学习，而提到机器学习就会想到深度学习，很多小伙伴不理解这两者之间有那些区别，一起来看下。

       机器学习,Tom Mitchell 对机器学习给出了最佳解释。下面是其中的内容：“计算机程序可以在给定某种类别的任务 T 和性能度量 P下学习经验 E ，如果其在任务 T 中的性能恰好可以用 P 度量，则随着经验 E 而提高。” 光看概念是比较抽象的，让我们用简单的例子来分解下这个描述。

示例 1：机器学习和根据人的身高估算体重。假设你想创建一个能够根据人的身高估算体重的系统。那么你可以使用机器学习去找出任何可能的错误和数据捕获中的错误，首先你需要收集一些数据，让我们来看看你的数据是什么样子的。

图 2

这些斜线能帮助我们做出预测,尽管这些斜线表现得很棒，但是我们需要理解它是怎么表现的，我们希望去减少预测和实际之间的误差，这也是衡量其性能的方法。深远一点地说，我们收集更多的数据，模型就会变得更好。我们也可以通过添加更多变量（例如性别）和添加不同的预测斜线来完善我们的模型。

示例2: 飓风预测系统。假如你要构建一个飓风预测系统，假设你手里有所有以前发生过的飓风的数据和这次飓风产生前三个月的天气信息。如果要手动构建一个飓风预测系统，我们应该怎么做?

图 3

首先,我们的任务是清洗所有的数据找到数据里面的模式进而查找产生飓风的条件。我们既可以将模型条件数据(例如气温高于40度，湿度在80-100等)输入到我们的系统里面生成输出；也可以让我们的系统自己通过这些条件数据产生合适的输出。我们可以把所有以前的数据输入到系统里面来预测未来是否会有飓风。基于我们系统条件的取值，评估系统的性能(系统正确预测飓风的次数)。我们可以将系统预测结果作为反馈继续多次迭代以上步骤。让我们根据前边的解释来定义我们的预测系统：我们的任务是确定可能产生飓风的气象条件。性能P是在系统所有给定的条件下有多少次正确预测飓风。经验E是我们的系统的迭代次数。

通过这两个例子，不知道你是否对机器学习有所了解,如果还有疑问的话，请往下看。

深度学习,这个概念并不新颖。它已经存在好几年了。但伴随着现有的炒作，深度学习越来越受到重视。先来看看深度学习的官方定义“深度学习是一种特殊的机器学习，通过学习将世界使用嵌套的概念层次来表示并实现巨大的功能和灵活性，其中每个概念都定义为与简单概念相关联，而更为抽象的表示则以较不抽象的方式来计算。” 这有点让人混乱，同样，我用两个简单示例来分解下此概念。

示例 1：形状检测,从概念层面上解释究竟发生了什么的事情。我们来试试看如何从其他形状中识别正方形。

图 4

我们眼中的第一件事是检查图中是否有四条的线。如果我们找到这样的四条线，我们进一步检查它们是相连的、闭合的和相互垂直的，并且它们是否是相等的。所以，我们完成了一个复杂的任务（识别一个正方形），并以简单、不太抽象的任务来完成它。深度学习本质上在大规模执行类似逻辑。

示例 2：猫VS狗,我们举一个动物辨识的例子，其中我们的系统必须识别给定的图像中的动物是猫还是狗。阅读下此文，以了解深度学习在解决此类问题上如何比机器学习领先一步。现在的你应该已经对机器学习和深度学习有所了解，接下来我们将会学习其中一些重点，并比较两种技术。

数据依赖性,深度学习与传统的机器学习最主要的区别在于随着数据规模的增加性能也不断增长。当数据很少时，深度学习算法的性能并不好。这是因为深度学习算法需要大量的数据来完美地理解它。另一方面，传统的机器学习算法使用制定的规则，性能会比较好。下图总结了这一事实。

图 5

硬件依赖,深度学习算法需要进行大量的矩阵运算，GPU 主要用来高效优化矩阵运算，所以 GPU 是深度学习正常工作的必须硬件。与传统机器学习算法相比，深度学习更依赖安装 GPU 的高端机器。

特征处理,将领域知识放入特征提取器里面来减少数据的复杂度并生成使学习算法工作的更好的模式的过程。特征处理过程很耗时而且需要专业知识。在机器学习中，大多数应用的特征都需要专家确定然后编码为一种数据类型。特征可以使像素值、形状、纹理、位置和方向。大多数机器学习算法的性能依赖于所提取的特征的准确度。深度学习尝试从数据中直接获取高等级的特征，这是深度学习与传统机器学习算法主要的不同。基于此，深度学习削减了对每一个问题设计特征提取器的工作。例如，卷积神经网络尝试学习低等级的特征(边界，线条)，然后学习部分人脸，然后是高级的人脸的描述。

图 6

问题解决方式,当应用传统机器学习算法解决问题的时候，传统机器学习通常会将问题分解为多个子问题并逐个子问题解决。最后，结合所有子问题的结果获得最终结果。相反，深度学习提倡直接的端到端的解决问题。

举例说明：假设有一个多物体检测的任务需要图像中的物体的类型和各物体在图像中的位置。

图 7

传统机器学习会将问题分解为两步：物体检测和物体识别。首先，使用一个边界框检测算法扫描整张图片找到可能的是物体的区域；然后使用物体识别算法(例如 SVM 结合 HOG )对上一步检测出来的物体进行识别。相反，深度学习会直接将输入数据进行运算得到输出结果。例如可以直接将图片传给 YOLO 网络(一种深度学习算法)，YOLO 网络会给出图片中的物体和名称。

执行时间,通常情况下，训练一个深度学习算法需要很长的时间。这是因为深度学习算法中参数很多，因此训练算法需要消耗更长的时间。最先进的深度学习算法 ResNet完整地训练一次需要消耗两周的时间，而机器学习的训练会消耗的时间相对较少，只需要几秒钟到几小时的时间。但两者测试的时间上是完全相反。深度学习算法在测试时只需要很少的时间去运行。如果跟 k-nearest neighbors（一种机器学习算法）相比较，测试时间会随着数据量的提升而增加。不过这不适用于所有的机器学习算法，因为有些机器学习算法的测试时间也很短。

可解释性,至关重要的一点，我们把可解释性作为比较机器学习和深度学习的一个因素。我们看个例子。假设我们试用深度学习去自动为文章评分。深度学习可以达到接近人的标准，这是相当惊人的性能表现。但是这仍然有个问题。深度学习算法不会告诉你为什么它会给出这个分数。当然，在数学的角度上，你可以找出来哪一个深度神经网络节点被激活了。但是我们不知道神经元应该是什么模型，我们也不知道这些神经单元层要共同做什么。所以无法解释结果是如何产生的。另一方面，为了解释为什么算法这样选择，像决策树(decision trees)这样机器学习算法给出了明确的规则，所以解释决策背后的推理是很容易的。因此，决策树和线性/逻辑回归这样的算法主要用于工业上的可解释性。

机器学习和深度学习用于那些领域，包括:

1. 计算机视觉 用于车牌识别和面部识别等应用。

2. 信息检索 用于诸如搜索引擎的应用-包括文本搜索和图像搜索。

3. 市场营销 针对自动电子邮件营销和目标群体识别等的应用。

4. 医疗诊断 诸如癌症识别和异常检测等的应用。

5. 自然语言处理 如情绪分析和照片标记等的应用。

三、什么是建模？

建模，就是为了理解事物而对事物做出的一种抽象，是对事物的一种无歧义的书面描述。当然，建模的范围非常的广，有3D建模、数学建模等。本文介绍的是传统建模，传统建模指的是以计算机统计分析软件为工具，利用各种统计分析方法对批量数据建立统计模型和探索处理的过程，用于揭示数据背后的因素，诠释社会经济现象，或对经济和社会发展作出预测或判断。

四、传统建模与人工智能建模。

随着技术的发展，人工智能的出现，传统建模也朝着更高级的方向发展，由原来写代码结合建模工具的方式提升到利用工具完成整个建模流程，也就是自动化建模。自动化建模的出现除了缩短建模的周期之外，也让建模人员更加合理的利用时间。为了更直观的展示两者之间的区别，请看下图。

图 8

 

图 9

这两张图非常清晰的展示了传统建模的特点，一来，建模要结合场景，每个模型都是用在特定的场景，无法复用；二来，建模的流程比较长，从问题定义到模型应用，总共有6个步骤，一般都要几周到数月，效率低下；三来，建模对人的专业能力要求很高，要掌握非常多的技术,包括编码能力、算法、数据等。因此，人才缺口很大,据猎聘网发布的招聘信息，3年以上的建模工程师年薪要50万左右；最后，传统建模是代码结合工具的模式，一般采用Sas或者Spss 等分析建模工具，依赖性强。种种的因素，让建模的门槛非常的高,随着数字时代的到来，为了高效利用企业内部的数据，自动化建模成为助力企业转型的有力工具,到底它有什么优势呢，请看下图。

图 10

结合上图，我们看到，自动化建模的价值非常明显，一来降低建模的门槛，业务从业者不需要具备较强的专业知识,只要具备阅读产品手册的能力即可；二来，建模效率大幅提高，将原来很多需要人工做的工作封装好，包括参数和算法选择等，用户只需要明确自己建模的目标，准备好数据，即可一键开始建模出结果；三来降低成本，建模的时间由原来的几周，变成几个小时，同样的时间建模人员可以建更多的模型，时间利用最大化。

五、应用案例。

我们以某股份制银行理财产品的推荐场景为例，该案例的目标是根据用户的画像，推荐相应的理财产品，达到用户购买的目的，增加盈收。同时，会对使用专家规则以及自动化建模的结果做详细的对比，来验证自动化建模的价值,请看下图。

图 11

 

图 12

       从该案例中，可以看到采用机器学习建模也就是自动化建模之后购买理财产品的用户提高了3倍以上,效果提升明显,随着市场竞争的白热化，如何增加营收是每个企业非常关注的问题。在这种情况下，自动化建模便是企业提升竞争力的有力武器。我相信在不久的将来，它将会成为企业的标配,就跟财务软件一样。

六、参考文章。

https://www.zhihu.com/question/41268372

http://smarthome.qianjia.com/html/2019-12/5_357205.html

 

备注: 喜欢本文的话给作者点个赞，喜欢阅读微信公众号文章的朋友可以关注我,扫一扫下面的图片，不时会发布关于职场方面的文章。