干货解读 |大数据，数据挖掘，机器学习的区别和联系_大白话解释机器学习与数据挖掘的联系与区别

大数据

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

研究机构Gartner是这样定义的：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。

大数据具有五大特点，称为5V。

1. 多样（Variety）

大数据的多样性是指数据的种类和来源是多样化的，数据可以是结构化的、半结构化的以及非结构化的，数据的呈现形式包括但不仅限于文本，图像，视频，HTML页面等等。

2. 大量（Volume）

大数据的大量性是指数据量的大小，采集、存储和计算的数据量都非常大。

3. 高速（Velocity）

大数据的高速性是指数据增长快速，处理快速，每一天，各行各业的数据都在呈现指数性爆炸增长。在许多场景下，数据都具有时效性，如搜索引擎要在几秒中内呈现出用户所需数据。企业或系统在面对快速增长的海量数据时，必须要高速处理，快速响应。

4. 低价值密度（Value）

大数据的低价值密度性是指在海量的数据源中，真正有价值的数据少之又少，许多数据可能是错误的，是不完整的，是无法利用的。总体而言，有价值的数据占据数据总量的密度极低，提炼数据好比浪里淘沙。

5. 真实性（Veracity）

大数据的真实性是指数据的准确度和可信赖度，代表数据的质量。

大数据技术是继物联网、云计算之后IT产业的有一次颠覆性的技术改革，它包含了几层含义：

①数据价值的利用，包括数据采集、数据储存、数据分析、数据传输、数据挖掘、数据安全等。

②对数据的“加工”能力，比如数据处理的速度。大数据的意义不在于掌握庞大的数据信息，而在于对数据进行专业化处理，通过加工实现数据的价值和增值。

③大数据技术包括大规模并行处理数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算及平台、物联网和可扩展的存储系统。

大数据的意义不仅仅在于生产和掌握庞大的数据信息，更重要的是对有价值的数据进行专业化处理。

大数据所需的技能

对机器学习概念有深入的了解

了解数据库，如 SQL、NoSQL 等。

深入了解各种编程语言，如Hadoop、Java、Python等。

了解 Apache Kafka、Scala 和云计算

熟悉 Hive 等数据库仓库。

数据挖掘

数据挖掘的定义

数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。

1. 技术上的定义

数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这个定义包括好几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。

2. 商业角度的定义

数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。因此，数据挖掘可以描述为：按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。

数据挖掘工作流程

1.确定业务对象

清晰地定义出业务问题,认清数据挖掘的目的是数据挖掘的重要一步.挖掘的最后结构是不可预测的,但要探索的问题应是有预见的,为了数据挖掘而数据挖掘则带有盲目性,是不会成功的。

2.数据准备

1)、数据的选择

搜索所有与业务对象有关的内部和外部数据信息,并从中选择出适用于数据挖掘应用的数据.

2)、数据的预处理

研究数据的质量,为进一步的分析作准备.并确定将要进行的挖掘操作的类型。

3)、数据的转换

将数据转换成一个分析模型.这个分析模型是针对挖掘算法建立的.建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键。

3.数据挖掘

对所得到的经过转换的数据进行挖掘.除了完善从选择合适的挖掘算法外,其余一切工作都能自动地完成。

4.结果分析

解释并评估结果.其使用的分析方法一般应作数据挖掘操作而定,通常会用到可视化技术。

5.知识的同化

将分析所得到的知识集成到业务信息系统的组织结构中去。

机器学习（Machine Learning）

机器学习的定义

机器学习领域知名学者Tom M.Mitchell曾给机器学习做如下定义：

如果计算机程序针对某类任务T的性能（用P来衡量）能通过经验E来自我改善，则认为关于T和P，程序对E进行了学习。

机器学习的核心是“使用算法解析数据，从中学习，然后对新数据做出决定或预测”。

也就是说计算机利用以获取的数据得出某一模型，然后利用此模型进行预测的一种方法，这个过程跟人的学习过程有些类似，比如人获取一定的经验，可以对新问题进行预测。

机器学习的概念就是通过输入海量训练数据对模型进行训练，使模型掌握数据所蕴含的潜在规律，进而对新输入的数据进行准确的分类或预测。

机器学习的分类

根据是否在人类的监督下进行学习这个问题，机器学习任务区分如下：

监督学习：监督学习算法依赖具有标签的训练数据来建立数学模型。例如，如果任务是鉴定图片是否包含某种实体，那么训练集的图片中就应该同时存在包含与不包含该实体的图片，同时，每张图片需标注是否包含该实体的标签。根据标签的数值特征(连续、离散)，监督学习又可以分为分类问题与回归问题。

半监督学习：在某些情况下，并不是所有的输入数据集都被有效标注了，即训练集中包含已标注的样本和未标注的样本。实际上未标注样本与已标注样本拥有同样的分布，在训练时若能利用这一点,则会很有帮助。

无监督学习：无监督学习算法完全利用不带标签的训练数据去训练一个模型。无监督学习用于探索数据的分布，例如将点聚类等。无监督学习可用于发现数据的潜在模式，并将数据按组归类，还可用于特征学习和数据降维等。

强化学习：在动态环境中以正或负强化的形式给出反馈，并用于自动驾驶车辆，或者学习与人类对手玩游戏等。

机器学习是人工智能的一个分支，也是人工智能的一种实现方法。

大数据、数据挖掘，机器学习之间的区别和联系
1.大数据是是那些超过早期使用的简单数据库和数据处理体系结构的数据集，而数据挖掘是指通过大数据集查找相关或相关信息的活动。

简而言之，大数据是资产，数据挖掘是用于提供有益结果的“处理程序”。

2.数据挖掘试图从海量数据中找出有用的知识，而机器学习是数据挖掘的重要工具。

3.数据挖掘不仅仅要研究、拓展、应用一些机器学习方法，还要通过许多非机器学习技术解决数据仓储、大规模数据、数据噪音等等更为实际的问题。

4.机器学习的涉及面更宽，常用在数据挖掘上的方法通常只是“从数据学习”，然则机器学习不仅仅可以用在数据挖掘上，一些机器学习的子领域甚至与数据挖掘关系不大，例如增强学习与自动控制等等。

5.数据挖掘可以视为机器学习和数据库的交叉，它主要利用机器学习界提供的技术来分析海量数据，利用数据库界提供的技术来管理海量数据。

总结：大数据是资产，数据挖掘是程序，而机器学习是数据挖掘的重要工具，三者相辅相成，互相促进发展。