大数据技术是什么_什么是大数据技术

作者：运维做开发 | 2024-07-31 01:58:18

踩

什么是大数据技术

大数据技术是什么？
总的来说大数据有5个部分。数据采集，数据存储，数据清洗，数据挖掘，数据可视化。
数据采集有硬件采集，如OBD，有软件采集，如滴滴，淘宝。数据存储就包括NOSQL，hadoop等等。
数据清洗包括语议分析，流媒体格式化等等。
数据挖掘包括关联分析，相似度分析，距离分析，聚类分析等等。数据可视化就是WEB的了。

大数据技术的具体内容？
分布式存储计算架构（强烈推荐：Hadoop）
分布式程序设计（包含：Apache Pig或者Hive）
分布式文件系统（比如：Google GFS）
多种存储模型，主要包含文档，图，键值，时间序列这几种存储模型（比如：BigTable，Apollo， DynamoDB等）
数据收集架构（比如：Kinesis，Kafla）
集成开发环境（比如：R-Studio）
程序开发辅助工具（比如：大量的第三方开发辅助工具）
调度协调架构工具（比如：Apache Aurora）
机器学习（常用的有Apache Mahout 或 H2O）
托管管理（比如：Apache Hadoop Benchmarking）
安全管理（常用的有Gateway）
大数据系统部署（可以看下Apache Ambari）
搜索引擎架构（学习或者企业都建议使用Lucene搜索引擎）
多种数据库的演变（MySQL/Memcached）
商业智能（大力推荐：Jaspersoft ）
数据可视化（这个工具就很多了，可以根据实际需要来选择）
大数据处理算法（10大经典算法）

大数据中常用的分析技术？

A/B测试、关联规则挖掘、数据聚类、
数据融合和集成、遗传算法、自然语言处理、
神经网络、神经分析、优化、模式识别、
预测模型、回归、情绪分析、信号处理、
空间分析、统计、模拟、时间序列分析

大数据未来的应用趋势预测？

每个人健康和生活都需要的个性化建议；
企业管理中的选择和开拓新市场的可靠信息来源；
社会治理中大众利益的发现与政策满足

云Iaas：
网络、存储、服务器、虚拟机、系统、中间件、运行时间、数据、应用

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/运维做开发/article/detail/906445