数学建模之数据分析【先导片】

  数据分析的定义为研究、清理、建模和转换数据，以找到有用的信息、提出结论并支持决策。 本系列数据分析教程将涵盖数据分析的所有基础到高级概念，如数据可视化、数据预处理、时间序列、数据分析工具等。

一、数据分析流程

  数据分析是由统计学家 John Tukey 在 20 世纪 70 年代开发的。它是分析数据的过程、解释此类系统结果的方法以及规划数据组以使其分析更容易、更准确或更真实的模式。
  因此，数据分析是从不同来源获取大量非结构化数据并将其转换为信息的过程，经过以下过程：

• 数据需求规范
• 数据采集
• 数据处理
• 数据清理
• 数据分析
• 沟通交流

二、数据分析于建模的需求

  通过数据分析，可以更好地理解问题的本质，从而构建更准确的数学模型。也能帮助我们识别关键变量，发现数据中的潜在模式和趋势，这对于选择合适的建模方法至关重要。
  数据分析还可以用来验证和优化数学模型。通过分析模型的输出结果与实际数据的对比，可以评估模型的准确性和有效性，并进行必要的调整。这个过程有助于我们不断改进模型，使其更好地反映现实问题。
  将数据分析纳入数学建模过程中，表明我们可以通过更深入地理解数据特征来构建更精确的模型。这不仅能提高模型的预测能力，还能帮助我们发现之前未知的关系和洞见，从而为问题求解提供更全面的视角。

三、现实生活中数据分析的应用

1. 更好的决策： 从长远来看，数据分析的主要优势是更好的决策。我们不再仅仅依赖知识，而是越来越多地在做出决定之前查看数据。
2. 识别潜在风险： 当今世界的公司在高风险条件下取得成功，但这些环境需要关键的风险管理流程，而广泛的数据有助于开发新的风险管理解决方案。数据可以提高实际模拟的有效性，以预测未来风险并制定更好的规划。
3. 提高工作效率： 数据分析允许分析大量数据并以结构化方式呈现数据，以帮助实现组织的目标。反映组织内部的可能性和进展，活动可以提高工作效率和生产力。允许管理人员与员工共享详细数据，从而营造高效和协作的文化。
4. 提供相关产品： 产品是每个组织的石油，而且通常是组织最重要的资产。产品管理团队的作用是确定推动战略创建的趋势以及独特功能和服务的活动计划。
5. 跟踪客户行为变化： 市场上的产品有很多可供消费者选择。必须关注消费者的需求和期望，因此对客户行为进行数据分析非常重要。

四、数据分析的先决条件

  为了增强数据分析技能，我们需要学习这些资源，以便在该领域获得最佳实践。

• Python 数据分析
• 用于数据分析的 SQL
• Python数据可视化
• 数据分析数据集

五、数据分析库

5.1 Pandas教程

  学习 Pandas，解锁强大的 Python 数据分析工具。这个重要的库提供了 DataFrame 等多功能数据结构，可实现高效的数据操作、分析和可视化。掌握 Pandas 将显着增强您处理复杂数据集并从中提取见解的能力，使其成为任何数据分析师或科学家不可或缺的技能。

5.2 Numpy教程

  学习 NumPy 以掌握 Python 中的数值计算。该基础库提供对数组、矩阵和高级数学函数的支持，使数据操作和计算变得高效。了解 NumPy 对于执行高级数据分析和科学计算至关重要，它是许多其他数据科学库的基石。

六、了解数据

6.1 什么是数据？

1. 样本与总体统计数据
2. 不同的数据类型

• 定性与定量（或分类与数值）
• 单变量与多变量数据类型
• 标称、序数与区间数据类型的属性

6.2 读取并加载数据集

1. 用 Pandas 读取数据集

• Python |读取 CSV
• 将 Pandas 数据框导出到 CSV 文件
• Pandas |解析 JSON 数据集
• 将 Pandas DataFrame 导出到 JSON 文件
• 使用 Pandas 处理 Excel 文件

2. 切片、索引、操作和清理 Pandas 数据框

七、数据预处理

  数据预处理是任何数据分析或机器学习项目的关键步骤。它涉及将原始数据转换为干净且可用的格式。正确准备的数据可确保更准确、更可靠的分析结果，从而实现更好的决策和更有效的预测模型。本系列将涵盖数据准备的关键方面，包括数据格式化、数据清理、异常值检测、数据转换和数据采样。

7.1 数据格式化

1. 格式化 Pandas 中数据框的浮点列
2. 如何检查 Pandas DataFrame 中的数据类型？
3. 如何在Python中更改Pandas日期时间格式？
4. 将 Pandas 数据框中的列类型从字符串转换为日期时间格式

7.2 数据清理

1. 数据清洗概述
2. 缺失值

• 处理 Pandas 中的缺失数据
• 从 Pandas 数据框中删除列中缺少值或 NaN 的行
• 计算 Pandas DataFrame 中的 NaN 或缺失值
• 处理缺失值
• 处理缺失数据
• 使用简单的输入器处理丢失的数据
• 处理分类变量的缺失值
• 在 Python 中使用 Pandas 替换缺失值

3. 异常值检测

• 箱线图
• 使用 Python 检测并删除异常值
• 用于异常值检测的 Z 分数
• 基于密度的异常值检测方法
  基于聚类的异常值检测方法
  用于异常值检测的 DBSCAN 聚类
• 分档
  分箱或离散化
  数据平滑的分箱方法
• 用于异常值检测的隔离森林
• 用于异常值检测的支持向量机

7.3 数据转换

1. 标准化和缩放

• 数据标准化
• 数据标准化和缩放之间的区别
• 使用 Pandas 进行数据标准化
• 如何标准化 Pandas DataFrame 中的数据？
• 最大-最小归一化
• Z 分数标准化
• 十进制缩放标准化
• 标准差归一化
• 标准化
• 日志转换
• 电源改造

7.4 数据采样

1. 概率抽样

• 简单随机抽样
• 聚类抽样
• 分层随机抽样
• 系统抽样

2. 非概率抽样

八、探索性数据分析

  探索性数据分析 (EDA) 也是数据分析过程中的关键步骤，通常使用可视化方法来总结数据集的主要特征。 EDA 的目标是了解数据的底层结构、检测模式和异常、测试假设并检查假设。 EDA 对于做出有关数据预处理、特征工程和建模的明智决策至关重要。

8.1 什么是探索性数据分析

• Python 探索性数据分析
• R 中的探索性数据分析

8.2 单变量数据 EDA

• 集中趋势测度
• 传播措施
• 四分位距 (IQR)
• 方差分析
• 偏度
• 在 Python 中计算偏度和峰度
• 偏度与峰度之间的区别
• 直方图
• 直方图的解释
• 箱线图
• 分位数-分位数图
  Python 中的分位数-分位数图
  R 中的分位数-分位数图

8.3 多元数据 EDA

• 交叉制表
• 相关性和相关矩阵
• 相关性和协方差
• 因子分析
• 聚类分析
• MANOVA（多元方差分析）
• 典型相关分析
• 对应分析
• 多维尺度

8.4 概率分布

• 中心极限定理
• 累积分布函数
  计算并绘制累积分布函数
  在 R 中绘制累积分布函数
• 概率密度函数
• 概率密度估计和最大似然估计
• 指数分布
• 正态分布
  正态分布函数
  Python 中的正态分布
  R 中的正态分布
• 二项分布
  Python——二项式分布
  R 中的伯努利分布
• 泊松分布
• P——值
• Z——分数
• T分布
  T分布
  R 中的 t 分布
  Python 中的 t 分布
• 点估计
• 置信区间
• 卡方检验
• 假设检验
  假设检验公式
  一尾测试和二尾测试

九、时间序列数据分析

  时间序列数据分析涉及检查以特定时间间隔收集或记录的数据点。此类数据在金融、经济、环境科学等各个领域普遍存在。主要目标是了解底层结构和模式，以做出准确的预测或决策。

• 9.1 定义时间序列数据
• 9.2 Python 中的数据和时间函数
• 9.3 时间序列数据绘图
• 9.4 处理时间序列中的缺失值
• 9.5 时间序列数据中的移动平均线
• 9.6 时间序列数据的平稳性
• 9.7 时间序列数据中的季节性检测
• 9.8 时间序列数据的趋势
• 9.9 均值回归测试
• 9.10 增强迪基-富勒测试
• 9.11 什么是自相关？

十、数据分析工具

  Excel、Python、Power BI等，本系列主要采用Python进行数据分析的实现。

十一、数据分析常见问题解答

Q&A：数据分析四种类型？

• 描述
• 诊断
• 预测
• 规定

Q&A：为什么数据分析如此重要？
  数据分析不仅仅向管理部门显示数字和数据。还关于分析和理解数据并使用该信息来推动行动。数据分析显示了数据中的模式和趋势，这些模式和趋势会加强或仍然未知。

Q&A：有哪些对数据分析有用的工具？

• RapidMiner
• KNIME
• Google Search Operators
• Google Fusion Tables
• Solver
• NodeXL
• OpenRefine
• Wolfram Alpha
• io
• Tableau, etc.

学习geeksforgeeks网站内容总结