大数据技术落地需要注意哪些问题_数据落地引起的的风险

　　随着大数据技术体系的逐步成熟，大数据技术也处于落地应用的初期阶段，但由于大数据技术所涉及的数据本身具有一定的敏感性，因此大数据产业链上的许多企业都处于业务发展的探索阶段，有些业务也处于所谓的"灰色地带"，在一定程度上也制约了大数据产业的发展。

　　如何规范大数据行业，以及如何让大数据能够更加合理、顺利地落地到产业领域，并为产业领域的发展赋能，将是一个必须面对和解决的问题。

　　1)IT向DT(Data Technology,DT)技术泛型的转变，使得传统硬件和软件技术架构面临挑战，大规模并行计算、量子计算机、深度神经网络芯片、分布式存储系统、GPU大规模计算等都是对传统IT技术架构的颠覆。现阶段各种大数据分析相关的开源技术和系统百花齐放，大数据技术生态体系庞杂，技术门槛较高也间接说明了这一点。研究、研发人员要跟上这一波技术变革还需要时间去消化和积累，特别是学术界和工业界的结合，对大数据应用来讲至关重要，深度学习领域的突破就是例证。如何在掌握有限技术的条件下(或受制于核心技术人才的情况下)，能快速进行大数据应用研究和落地应用，需要从技术选型角度进行深入探讨、分析和评估。

　　2)传统商业智能(Business Intelligence,BI)应用的失败教训太多，项目周期漫长，考验客户耐性，应用投入成本高，终成果多是昂贵的豪华报表，没有达到预期效果。另外，传统数据仓库和数据集市架构下，面对海量数据的存储能力、扩展能力、并发能力弱等问题无法从根本解决。大数据分析如何从BI项目中总结失败教训和获得经验，大数据应用与传统BI系统是融合还是代替?企业大数据技术架构如何与发源于互联网巨头的主流大数据技术框架有机统一?也还有很多问题需要深入总结，解决不好就会事倍功半。

　　3)大数据应用的标准化和产品化问题。针对大数据的多源异构、动态性、关联性等特点，对大数据分析流程和应用进行标准化的管理，对离线分析、在线分析、实时分析、内存分析等计算框架的融合处理，对图像、文本、视频、音频、网页、关系数据库等多源异构数据进行跨模态建模，对大数据分析结果的应用效果进行量化与评价。不管是从技术选型角度还是业务支撑角度，都还有很多问题需要实战经验的积累和支持，想要一劳永逸地解决不现实。

　　4)除了前述探讨的大数据应用面临的挑战之外，从大数据架构本身的技术角度分析还需要解决如下几个关键问题：高可扩展性，能支持大规模数据增长和大量业务分析的快速扩展等;高容错性和稳定性，能支持大数据分析的失败情况和进行自动恢复等;高性能和并行支持，能在海量数据条件下快速完成多种计算模型和分析处理;多源异构环境支持，能处理多模态数据和多种分析任务;开放性和共享支持，能提供标准的数据和开发接口，支持数据和系统集成;效率和成本的控制，能在有限的时间、人力和财力条件下提高系统性能等，这对大数据系统架构的设计提出了较高要求。

　　5)大数据管理思维和开发、应用实施的脱节，大数据强化了定量科学和客观方法的地位，但事实上，现阶段很多企业领导，包括技术人员对大数据的处理和使用仍然是主观性的，而且面对机器学习的黑箱，对模型的缺陷和适用范畴很难有深入把握，这样的话通过大数据挖掘分析量化的结果也未必更符合客观事实，大数据不等于好数据，如何切实辅助决策才是关键。

　　如果在使用数据技术的过程中没有边界限制，可能会对大数据的用户形成"认知障碍"，这对用户来说也是一个潜在的风险，因此，在大数据的登陆应用过程中，应该允许大数据用户更多地了解大数据技术的细节，大数据的参与者应该共同促进大数据的合理发展。