大数据在医疗领域应用有哪些挑战？_大数据 医药行业 限制

大数据在医疗领域应用有哪些挑战？

大数据已经被应用于医疗保健领域的各种应用，包括使用机器学习预测住院率、解决处方滥用问题，以及采取措施治疗肺癌。大数据灵活性使得构建特定的应用程序成为可能，这些应用可以满足人们的需求并增强跨行业的可用性。

由于技术发展和创新人们感觉到对大数据分析的需求日益增长。然而这一需求也让人们在医疗保健领域感受到应用大数据所需要面临的挑战。

随着大数据趋势席卷市场上的主要行业，医疗保健行业不想保持观望态度。大数据已经被应用于医疗保健领域的各种应用，包括使用机器学习预测住院率、解决处方滥用问题，以及采取措施治疗肺癌。然而，这些仍然是独立的举措，整合全面的大数据解决方案，以改善大规模医疗保健服务仍有很长的路要走。

并非所有来自医疗中心的个人医疗数据都是使用，具有良好数据治理实践的系统捕获的。许多企业都在寻找工具来收集干净、格式化、彻底和精确的数据。已经在不符合标准的软件上投入资源的其他人，也正在寻找可以清理其数据库以使其与大数据兼容的应用程序。医疗保健行业数据的不稳定性也增加了大数据集成任务的复杂性。

虽然有些数据集，如健康变量需要不时更新，但更被动的数据集，如地址或电话号码在患者的整个生命周期中只需要更新几次，应该在确保数据质量保持不变的同时更新数据。存储重复记录也会对数据质量造成风险。这些庞大数据库的存储也是一个问题，因为即使云存储的选择价格低廉，医疗保健供应商仍然担心与数据存储有关的HIPAA合规问题。将所有数据存储在“本地”将给供应商带来巨大的成本和安全负担。

敏感数据的安全问题，大多数医疗服务供应商并非在一个孤立的市场中运营。由于患者可能会从不同的提供者那里获得咨询，因此确保患者数据在不同的提供者之间共享变得至关重要，可以在单一平台上共享，也可以遵循特定的协议。存储和共享这些敏感的医疗数据不可避免地会引起恶意攻击者的注意。HIPAA安全规则要求供应商遵循一系列技术注意事项，这些注意事项可以通过实施防火墙、反病毒、双因素身份验证和敏感数据加密来实现。然而，即使有这些安全措施到位，鉴于最近的勒索软件攻击和高调的黑客攻击，数据的安全性也无法得到保证。

交互式报告和可视化，大数据应用需要区分分析和报告，在报告中转储数据无助于简化大数据的应用。应用需要从大量数据中获得有价值的见解，并且只在报告中提及特定的亮点。训练算法生成精确的见解也是必要的，没有这些见解，报告的可信度就会受到质疑。图表是使报告不那么枯燥、更具交互性的好方法。应用还应该关注于开发可视化，以便轻松地从报告中获得洞察力。

即使在零售、搜索引擎等其他行业应用大数据时，上述问题或多或少也存在。然而大数据的灵活性使得构建特定的应用程序成为可能，这些应用可以满足人们的需求，并增强跨行业的可用性。

第一阶段：大数据开发入门

1、MySQL数据库及SQL语法

MySQL可以处理拥有上千万条记录的大型数据库，使用标准的SQL数据语言形式，MySQL可以安装在不同的操作系统，并且提供多种编程语言的操作接口，这些编程语言包括C、C++、Python、Java、Ruby等等。支持多种存储引擎。
SQL就是客户端和MySQL服务器端进行通信和沟通的语言。

2、Kettle与BI工具

Kettle作为一个端对端的数据集成平台，其部分特色功能包括：无代码拖拽式构建数据管道、多数据源对接、数据管道可视化、模板化开发数据管道、可视化计划任务、深度Hadoop支持、数据任务下压Spark集群、数据挖掘与机器学习支持。

3、Python与数据库交互

实际的生产任务中，数据几乎全部存在与数据库中，因此，与数据库的交互成为一件难以避免的事情。想要在Python代码中和mysql数据库进行交互，需要借助一个第三方的模块“pymysql”

第二阶段：大数据核心基础

1、Linux

Linux 作为操作系统，本身是为了管理内存，调度进程，处理网络协议栈等等。而大数据的发展是基于开源软件的平台，大数据的分布式集群( Hadoop，Spark )都是搭建在多台 Linux 系统上，对集群的执行命令都是在 Linux 终端窗口输入的。据Linux基金会的研究，86%的企业已经使用Linux操作系统进行大数据平台的构建。Linux占据优势。

2、Hadoop基础

2022最新大数据Hadoop入门教程，最适合零基础自学的大数据

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。它很擅长存储大量的半结构化的数据集。也非常擅长分布式计算——快速地跨多台机器处理大型数据集合。Hadoop的框架最核心的设计就是：HDFS和MapReduce.HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

MapReduce和Hadoop是相互独立的，实际上又能相互配合工作得很好。MapReduce是处理大量半结构化数据集合的编程模型。

3、大数据开发Hive基础

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。

第三阶段：千亿级数仓技术

企业级在线教育项目实战（Hive数仓项目完整流程）

大数据项目实战教程_大数据企业级离线数据仓库，在线教育项目实战（Hive数仓项目完整流程）

以真实项目为驱动，学习离线数仓技术。建立集团数据仓库，统一集团数据中心，把分散的业务数据集中存储和处理 ；从需求调研、设计、版本控制、研发、测试到落地上线，涵盖了项目的完整工序 ；挖掘分析海量用户行为数据，定制多维数据集合，形成数据集市，供各个场景主题使用。

第四阶段：PB内存计算

1、Python编程基础+进阶

全套Python教程_Python基础入门视频教程，零基础小白自学Python必备教程

Python高级语法进阶教程_python多任务及网络编程，从零搭建网站全套教程

Python是基于ABC语言的发展来的，Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言， 随着版本的不断更新和语言新功能的添加，逐渐被用于独立的、大型项目的开发。

Python 语言的语法非常简洁明了，即便是非软件专业的初学者，也很容易上手，和其它编程语言相比，实现同一个功能，Python 语言的实现代码往往是最短的。

2、Spark技术栈

Spark全套视频教程，大数据spark3.2从基础到精通，全网首套基于Python语言的spark教程

Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。本课程基于Python语言学习Spark3.2开发，课程的讲解注重理论联系实际，高效快捷，深入浅出，让初学者也能快速掌握。让有经验的工程师也能有所收获。

3、大数据Flink技术栈

Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务。Flink也可以方便地和Hadoop生态圈中其他项目集成，例如Flink可以读取存储在HDFS或HBase中的静态数据，以Kafka作为流式的数据源，直接重用MapReduce或Storm代码，或是通过YARN申请集群资源等。

4.Spark离线数仓工业项目实战

全网首次披露大数据Spark离线数仓工业项目实战，Hive+Spark构建企业级大数据平台

通过大数据技术架构，解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于Hive数仓分层来存储各个业务指标数据，基于sparkSQL做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。