大数据采集方法

• 大数据采集
  是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。
• 数据
  数据包括RFID数据、传感器数据、用户行为数据、社交网络交互数据及移动互联网数据等各种类型的结构化、半结构化及非结构化的海量数据。

大数据的分类

• 业务数据：消费者数据、客户关系数据、库存数据、账目数据等。
• 行业数据：车流量数据、能耗数据、PM2.5数据等。
• 内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等。
• 线上行为数据：页面数据、交互数据、表单数据、会话数据、反馈数据等。
• 线下行为数据：车辆位置和轨迹、用户位置和轨迹、动物位置和轨迹等。

数据源的分类

• 企业系统：客户关系管理系统、企业资源计划系统、库存系统、销售系统等。
• 机器系统：智能仪表、工业设备传感器、智能设备、视频监控系统等。
• 互联网系统：电商那系统、服务行业业务系统、政府监管系统等。
• 社交系统：微信、QQ、微博、博客、新闻网站、朋友圈等。

采集方法和采集工具

• 大数据的采集
  是指利用多个数据库或存储系统来接收发自客户端（Web、App或者传感器形式等）的数据。
• 在大数据时代，Redis、MongoDb和HBase等NoSQL数据库常用于数据的采集。
• 大数据的采集过程的主要特点和挑战是并发数高。
• 大数据采集时使用了大数据的处理模式即,MapReduce分布式并行处理模式或基于内存的流式处理模式。
• 大数据的采集方法
  1）数据库采集
  Redis、MongoDB和HBase等NoSQL数据库常用于数据的采集。企业通过在采集端部署大量数据库，并在这些数据库之间进行负载均衡和分片，来完成大数据采集工作。
  2）系统日志采集
  系统日志采集主要是手机公司业务平台日常产生的大量日志数据，供离线和在线的大数据分析系统使用。高可用性、高可靠性、可扩展性是日志收集系统所具有的基本特征。系统日志采集工具均采用分布式架构，能够满足每秒数百MB的日志数据采集和传输需求。
  3）网络数据采集
  网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息的过程。
  4）感知设备数据采集
  感知设备数据采集是指通过传感器、摄像头和其他智能终端自动采集信号、图片或录像来获取数据。