《数据治理简易速速上手小册》第3章 数据质量管理（2024 最新版）

3.1 数据质量的定义和标准

在这一节中，我们将深入讨论数据质量的定义和标准，并通过具体案例展示如何在实际工作中实现和维护高数据质量。

3.1.1 基础知识

深入理解数据质量的概念是实施有效数据治理的重要一步。数据质量不仅关乎数据的准确性，还包括一系列其他关键特性，这些特性共同确保数据能够满足业务需求和目标。

1. 完整性（Completeness）：

   • 数据是否完整，所有必要的记录和字段是否都已被正确填充。
   • 检查缺失值，确保关键字段不为空。

2. 一致性（Consistency）：

   • 数据在不同数据源或时间点上是否保持一致。
   • 验证跨系统数据的一致性，确保数据同步。

3. 准确性（Accuracy）：

   • 数据是否准确地反映了现实或源数据。
   • 核对数据源，进行数据校验和验证。

4. 可靠性（Reliability）：

   • 数据的收集和处理是否符合标准，来源是否可靠。
   • 建立和遵循数据处理的标准化流程。

5. 及时性（Timeliness）：

   • 数据是否及时更新，是否能反映最新的情况。
   • 实施实时或定期的数据更新机制。

6. 唯一性/去重（Uniqueness/Deduplication）：

   • 数据集中是否存在重复记录。
   • 应用去重策略，确保每条记录的唯一性。

7. 有效性（Validity）：

   • 数据是否符合特定的格式、范围或规则。
   • 制定并应用数据有效性规则，如数据类型检查和格式验证。

8. 可追溯性（Traceability）：

   • 数据的来源和变更历史是否可以追溯。
   • 记录数据的来源，以及对数据所做的所有更改。

通过这些详细的数据质量标准，组织可以更全面地评估和提高其数据的质量。高数据质量是实现数据驱动决策、优化业务流程、提高客户满意度和确保合规性的基础。

3.1.2 重点案例：电商平台的数据清洗

在这个案例中，我们将使用 Python 演示一家电商平台如何清洗和提高其产品数据的质量。

数据准备

假设我们有一份包含产品信息的数据集，数据中可能包含重复值、缺失值和格式错误。

import pandas as pd

# 示例电商平台产品数据
product_data = {
    '产品ID': ['P001', 'P002', 'P002', 'P003'],
    '产品名称': ['产品A', '产品B', None, '产品C'],
    '价格': ['100元', '200元', '200元', '300元'],
    '库存': [10, 20, 20, None]
}

products_df = pd.DataFrame(product_data)
print(products_df)
1
2
3
4
5
6
7
8
9
10
11
12

数据清洗

清洗数据包括处理重复记录、填补缺失值和纠正格式错误。

# 去除重复记录
products_df.drop_duplicates(inplace=True)

# 填补缺失值
products_df['产品名称'].fillna('未知产品', inplace=True)
products_df['库存'].fillna(0, inplace=True)  # 假设未知库存为0

# 格式纠正
products_df['价格'] = products_df['价格'].str.replace('元', '').astype(int)

print(products_df)
1
2
3
4
5
6
7
8
9
10
11

数据验证

对清洗后的数据进行进一步的验证，确保数据的准确性和完整性。

# 数据验证
def validate_product_record(record):
    if record['价格'] <= 0 or record['库存'] < 0:
        return '无效'
    return '有效'

products_df['记录状态'] = products_df.apply(validate_product_record, axis=1)
print(products_df)
1
2
3
4
5
6
7
8

数据分析

简单的数据分析可以帮助理解数据清洗的影响。

# 分析产品价格和库存
price_summary = products_df['价格'].describe()
stock_summary = products_df['库存'].describe()

print("价格概况:\n", price_summary)
print("库存概况:\n", stock_summary)
1
2
3
4
5
6

通过这个案例，电商平台能够有效地清洗其产品数据，提高数据质量，从而支持更好的产品管理和业务决策。这个过程包括去除重复记录、填补缺失值、纠正数据格式和验证数据质量，是确保高数据质量的重要步骤。

3.1.3 拓展案例 1：医疗保健机构的数据整合

在这个案例中，我们将使用 Python 展示一家医疗保健机构如何整合来自不同源的患者数据，以创建一个统一的健康记录系统。

数据准备

假设我们有来自两个不同医疗设施的患者数据集，数据格式略有差异。

import pandas as pd

# 示例数据 - 医疗设施A
data_A = {
    'Patient_ID': ['PA123', 'PA124', 'PA125'],
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Diagnosis': ['Diabetes', 'Hypertension', 'Asthma']
}

# 示例数据 - 医疗设施B
data_B = {
    'ID': ['PB123', 'PB124', 'PB125'],
    'Patient_Name': ['Dave', 'Eve', 'Frank'],
    'Medical_Condition': ['Arthritis', 'Heart Disease', 'Bronchitis']
}

df_A = pd.DataFrame(data_A)
df_B = pd.DataFrame(data_B)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

数据整合

我们需要将这两个数据集合并为一个，同时处理字段名称和格式的不一致性。

# 标准化字段名
df_B.rename(columns={'ID': 'Patient_ID', 'Patient_Name': 'Name', 'Medical_Condition': 'Diagnosis'}, inplace=True)

# 合并数据集
combined_df = pd.concat([df_A, df_B], ignore_index=True)
print(combined_df)
1
2
3
4
5
6

数据清洗

清洗整合后的数据，确保数据的一致性和准确性。

# 填补任何缺失值，这里假设用"未知"填补
combined_df.fillna('Unknown', inplace=True)

# 检查并修正可能的错误或不一致性
# 例如，标准化诊断名称的格式
combined_df['Diagnosis'] = combined_df['Diagnosis'].str.title()
print(combined_df)
1
2
3
4
5
6
7

数据验证和分析

对整合后的数据进行验证，并进行简单的数据分析。

# 验证数据的有效性
def validate_record(record):
    if record['Patient_ID'] == '' or record['Name'] == '':
        return 'Invalid'
    return 'Valid'

combined_df['Record_Status'] = combined_df.apply(validate_record, axis=1)

# 简单的数据分析，例如，统计不同诊断的频率
diagnosis_counts = combined_df['Diagnosis'].value_counts()
print("诊断统计:\n", diagnosis_counts)
1
2
3
4
5
6
7
8
9
10
11

通过这个案例，医疗保健机构能够有效地整合并清洗来自不同源的患者数据，创建一个统一的健康记录系统。这对于提供连贯的患者护理、支持医疗决策和确保数据一致性至关重要。

3.1.4 拓展案例 2：金融服务公司的交易数据监控

在这个案例中，我们将展示一家金融服务公司如何使用 Python 实现交易数据的实时监控，以确保数据质量和及时性，并识别潜在的欺诈行为。

数据准备

假设我们有一份金融交易的数据集，包括交易ID、日期、金额和交易类型。

import pandas as pd

# 示例金融交易数据
transaction_data = {
    '交易ID': ['T1001', 'T1002', 'T1003', 'T1004'],
    '交易日期': ['2023-08-01', '2023-08-01', '2023-08-02', '2023-08-02'],
    '交易金额': [2000, 5000, 7500, 1000],
    '交易类型': ['存款', '取款', '取款', '存款']
}

transactions_df = pd.DataFrame(transaction_data)
transactions_df['交易日期'] = pd.to_datetime(transactions_df['交易日期'])
print(transactions_df)
1
2
3
4
5
6
7
8
9
10
11
12
13

数据监控

实现实时数据监控，检测异常交易模式，如异常高额交易。

# 实时监控函数
def monitor_transactions(df):
    high_value_threshold = 7000  # 设置高额交易阈值
    suspicious_transactions = df[df['交易金额'] > high_value_threshold]
    if not suspicious_transactions.empty:
        print("检测到可疑交易:\n", suspicious_transactions)
    else:
        print("未检测到可疑交易")

monitor_transactions(transactions_df)
1
2
3
4
5
6
7
8
9
10

数据分析

分析交易数据，寻找交易趋势或不寻常的模式。

# 交易类型统计
transaction_types = transactions_df['交易类型'].value_counts()
print("交易类型统计:\n", transaction_types)

# 交易金额分析
average_transaction = transactions_df['交易金额'].mean()
print(f"平均交易金额: {average_transaction}")
1
2
3
4
5
6
7

报告生成

为合规目的，自动生成交易数据的分析报告。

# 生成交易报告
transactions_df.to_csv('Financial_Transactions_Report.csv', index=False)
print("交易报告已生成")
1
2
3

通过这个案例，金融服务公司能够有效地监控交易数据，及时识别和响应可疑交易。这有助于防范欺诈行为，保证交易的安全性，同时也支持公司的合规性要求。Python 作为强大的数据处理和分析工具，在实现这些监控和报告功能中发挥了关键作用。

通过这些案例，我们可以看到数据质量管理在不同行业中的重要性和应用。无论是电商、医疗还是金融服务，高数据质量的维护对于支持有效的业务决策和运营至关重要。Python 作为一种强大的数据处理工具，在这些场景中发挥着关键作用。

3.2 数据质量控制的方法与工具

在这一节中，我们将探讨数据质量控制的不同方法和工具，并通过几个实际案例展示如何应用这些方法和工具。

3.2.1 基础知识

数据质量控制是确保数据能够可靠地支持业务决策和运营的关键过程。要有效地进行数据质量控制，理解以下几个核心方面是必不可少的：

1. 数据清洗：

   • 错误和不一致性的处理：清除或纠正数据集中的错误和不一致，例如错误的数据输入、格式错误或不一致的数据表示。
   • 重复数据的处理：识别和消除重复记录，确保数据的唯一性。

2. 数据验证：

   • 规则定义：基于业务规则和数据规范定义数据验证规则。
   • 自动化验证：使用自动化工具执行数据验证，确保数据满足这些预定义的规则。

3. 数据监控：

   • 持续监控：定期或实时监控数据质量，确保数据持续符合质量标准。
   • 异常检测：通过设置阈值和使用统计模型来检测异常数据或趋势。

4. 数据整合：

   • 数据融合：合并来自不同源的数据，解决数据冲突和不一致问题。
   • 数据映射：在整合过程中，确保数据在不同源之间正确映射。

5. 工具和技术：

   • 专业工具：使用数据质量管理工具，如 Informatica、Talend 等，进行数据清洗和整合。
   • 编程语言：利用 Python、SQL 等语言编写脚本进行数据处理和自动化任务。

6. 数据质量度量：

   • 质量指标：定义和计算数据质量指标，如准确率、完整率、一致率等。
   • 报告和仪表板：创建数据质量报告和仪表板，以可视化展示数据质量状态。

7. 数据治理结构：

   • 角色与责任：明确组织内部不同角色在数据质量管理中的责任。
   • 政策与流程：制定和实施数据治理政策和流程，以支持数据质量控制。

通过实施这些基础知识和方法，组织能够建立强大的数据质量控制框架，从而确保数据的可靠性和有效性，支撑业务决策和提升操作效率。

3.2.2 重点案例：电信公司的客户数据清洗

在这个案例中，我们将使用 Python 展示一家电信公司如何清洗其客户数据库，以提高数据质量。

数据准备

假设我们有一份包含电信公司客户信息的数据集，数据中可能包含重复值、缺失值和格式错误。

import pandas as pd

# 示例电信公司客户数据
customer_data = {
    '客户ID': ['C001', 'C002', 'C002', 'C003'],
    '姓名': ['Alice', 'Bob', None, 'Charlie'],
    '联系电话': ['123-456-7890', '123 456 7891', '123.456.7892', '123-456-7893'],
    '账户余额': ['100$', '200$', '300$', '四百元']
}

customers_df = pd.DataFrame(customer_data)
print(customers_df)
1
2
3
4
5
6
7
8
9
10
11
12

数据清洗

进行数据清洗，包括处理重复记录、填补缺失值和纠正格式错误。

# 去除重复记录
customers_df.drop_duplicates(subset='客户ID', keep='first', inplace=True)

# 填补缺失的姓名
customers_df['姓名'].fillna('未知', inplace=True)

# 格式纠正
# 统一电话号码格式
customers_df['联系电话'] = customers_df['联系电话'].str.replace('[ .]', '-', regex=True)

# 转换账户余额为统一格式
def standardize_balance(balance):
    return balance.replace('$', '').replace('元', '').replace('四百', '400')

customers_df['账户余额'] = customers_df['账户余额'].apply(standardize_balance).astype(int)

print(customers_df)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

数据验证

对清洗后的数据进行进一步的验证，确保数据的准确性和完整性。

# 数据验证
def validate_customer_record(record):
    if not record['联系电话'].count('-') == 2 or record['账户余额'] < 0:
        return '无效'
    return '有效'

customers_df['记录状态'] = customers_df.apply(validate_customer_record, axis=1)
print(customers_df)
1
2
3
4
5
6
7
8

通过这个案例，电信公司能够有效地清洗其客户数据，提高数据质量，从而支持更好的客户管理和业务决策。这个过程包括去除重复记录、填补缺失值、纠正数据格式和验证数据质量，是确保高数据质量的重要步骤。

3.2.3 拓展案例 1：零售企业的库存数据验证

拓展案例 1：零售企业的库存数据验证

在这个案例中，我们将展示一家零售企业如何使用 Python 来验证和监控其库存数据，确保数据的准确性和及时性。

数据准备

假设我们有一份包含零售企业库存信息的数据集，数据中可能包含错误或不一致的信息。

import pandas as pd

# 示例库存数据
inventory_data = {
    '产品ID': ['P100', 'P101', 'P102', 'P103'],
    '库存数量': [50, -10, 30, '二十'],
    '库存警戒线': [20, 15, 10, 5]
}

inventory_df = pd.DataFrame(inventory_data)
print(inventory_df)
1
2
3
4
5
6
7
8
9
10
11

数据验证

进行数据验证，包括库存数量的有效性检查和库存警戒线的比较。

# 库存数量的有效性检查和格式纠正
def validate_and_correct_inventory(inventory):
    try:
        # 尝试转换为整数
        inventory = int(inventory)
    except ValueError:
        # 处理中文数字
        inventory = inventory.replace('二十', '20')
        inventory = int(inventory)
    return max(inventory, 0)  # 确保库存不为负数

inventory_df['库存数量'] = inventory_df['库存数量'].apply(validate_and_correct_inventory)

# 比较库存数量和库存警戒线
def check_inventory_status(row):
    if row['库存数量'] < row['库存警戒线']:
        return '低于警戒线'
    return '正常'

inventory_df['库存状态'] = inventory_df.apply(check_inventory_status, axis=1)
print(inventory_df)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

库存监控

对库存数据进行监控，确保库存水平在合理范围内。

# 库存监控
def monitor_inventory(df):
    low_inventory_items = df[df['库存状态'] == '低于警戒线']
    if not low_inventory_items.empty:
        print("以下产品库存低于警戒线:\n", low_inventory_items)
    else:
        print("所有产品库存均在正常范围内。")

monitor_inventory(inventory_df)
1
2
3
4
5
6
7
8
9

通过这个案例，零售企业能够有效地验证和监控其库存数据，确保库存信息的准确性和及时性。这对于避免库存短缺或过剩、优化库存管理和支持销售决策至关重要。

3.2.4 拓展案例 2：医疗机构的患者数据整合

在这个案例中，我们将展示一家医疗机构如何使用 Python 来整合来自不同系统的患者数据，以提高数据一致性和完整性。

数据准备

假设我们有两个不同系统的患者数据集，每个系统的数据格式略有不同。

import pandas as pd

# 示例数据 - 系统A
data_A = {
    '患者编号': ['PA01', 'PA02', 'PA03'],
    '姓名': ['Alice', 'Bob', 'Charlie'],
    '年龄': [28, 34, 45]
}

# 示例数据 - 系统B
data_B = {
    'ID': ['PB01', 'PB02', 'PB03'],
    '患者姓名': ['David', 'Eve', 'Frank'],
    '生日': ['1992-01-01', '1986-05-12', '1975-08-23']
}

df_A = pd.DataFrame(data_A)
df_B = pd.DataFrame(data_B)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

数据整合

合并来自两个不同系统的数据，同时处理字段名称和格式的不一致性。

# 标准化字段名和格式
df_B.rename(columns={'ID': '患者编号', '患者姓名': '姓名', '生日': '年龄'}, inplace=True)
df_B['年龄'] = pd.to_datetime(df_B['年龄']).dt.year
df_B['年龄'] = 2023 - df_B['年龄']  # 假设当前年份为2023年

# 合并数据集
combined_df = pd.concat([df_A, df_B], ignore_index=True)
print(combined_df)
1
2
3
4
5
6
7
8

数据清洗

对整合后的数据进行清洗，确保数据的一致性和准确性。

# 检查并清洗缺失或不一致的数据
combined_df.fillna('未知', inplace=True)

# 检查年龄字段的合理性
combined_df['年龄'] = combined_df['年龄'].apply(lambda x: x if x > 0 and x < 120 else '未知')
print(combined_df)
1
2
3
4
5
6

数据验证和分析

对整合后的数据进行验证，并进行简单的数据分析。

# 验证数据的有效性
def validate_patient_record(record):
    if record['姓名'] == '未知' or record['年龄'] == '未知':
        return '无效'
    return '有效'

combined_df['记录状态'] = combined_df.apply(validate_patient_record, axis=1)

# 简单的数据分析，例如，统计不同年龄段的患者数量
age_distribution = combined_df['年龄'].value_counts()
print("年龄分布:\n", age_distribution)
1
2
3
4
5
6
7
8
9
10
11

通过这个案例，医疗机构能够有效地整合并清洗来自不同源的患者数据，创建一个统一且准确的患者健康记录系统。这对于提供连贯的患者护理、支持医疗决策和确保数据一致性至关重要。

通过这些案例，我们可以看到数据质量控制在不同领域的应用是多样化的。无论是电信、零售还是医疗行业，高数据质量的维护对于支持有效的业务决策和运营至关重要。Python 在这些场景中作为一个强大的数据处理工具，发挥着关键的作用。

3.3 数据质量监测与改进

在这一节中，我们将探讨数据质量监测与改进的关键概念，并通过实际案例展示如何应用这些概念来提升数据质量。

3.3.1 基础知识

深入理解数据质量监测与改进的基础知识是确保持续维持高质量数据的关键。这一过程不仅涉及定期的数据质量评估，还包括对数据处理流程的持续优化。

1. 数据质量评估：

   • 质量指标：定义和计算关键的数据质量指标，如准确率、完整率、一致性、及时性等。
   • 评估周期：设定定期评估数据质量的周期，例如，每月或每季度。

2. 数据质量报告：

   • 报告生成：创建数据质量报告，提供关于数据质量状态的详细概览。
   • 问题识别：通过报告识别数据质量问题，如异常值、趋势的变化等。

3. 数据问题根源分析：

   • 问题诊断：分析数据问题的根本原因，如系统缺陷、流程漏洞或外部因素。
   • 影响评估：评估数据问题对业务的影响，确定解决问题的优先级。

4. 改进措施：

   • 流程优化：根据根源分析结果，改进数据管理和处理流程。
   • 技术和工具的应用：应用适当的技术和工具来解决特定的数据问题。

5. 持续监控与迭代：

   • 自动化监控：利用自动化工具进行实时或定期的数据质量监控。
   • 迭代改进：根据监控结果和业务需求的变化，持续调整和优化数据治理策略。

6. 利益相关者沟通：

   • 内部沟通：与内部团队沟通数据质量问题及其影响，确保团队成员对数据质量的认识和重视。
   • 外部报告：必要时，向外部利益相关者（如监管机构、合作伙伴）报告数据质量情况。

7. 文化和教育：

   • 数据质量文化：培养组织内部重视数据质量的文化。
   • 培训与教育：提供数据质量管理方面的培训，提升团队的相关技能。

通过实施这些基础知识，组织可以确保其数据质量监测和改进过程是全面的、有效的，并且能够适应不断变化的业务需求和技术环境。

3.3.2 重点案例：金融机构的交易数据监测

在这个案例中，我们将展示一家金融机构如何使用 Python 来实现交易数据的实时监测，以确保数据质量并识别潜在的欺诈行为。

数据准备

假设我们有一份包含多种交易信息的数据集，其中可能包含异常交易。

import pandas as pd

# 示例交易数据
transaction_data = {
    '交易ID': ['TX001', 'TX002', 'TX003', 'TX004'],
    '交易日期': ['2023-09-01', '2023-09-01', '2023-09-02', '2023-09-02'],
    '交易金额': [500, 20000, 1500, 30000],
    '客户ID': ['C100', 'C101', 'C100', 'C102'],
    '交易类型': ['存款', '取款', '存款', '取款']
}

transactions_df = pd.DataFrame(transaction_data)
transactions_df['交易日期'] = pd.to_datetime(transactions_df['交易日期'])
print(transactions_df)
1
2
3
4
5
6
7
8
9
10
11
12
13
14

数据监测

实时监测交易数据，特别是寻找异常高额交易，这可能表明潜在的欺诈行为。

# 实时监测函数
def monitor_transactions(df):
    high_value_threshold = 10000  # 定义高额交易阈值
    suspicious_transactions = df[df['交易金额'] > high_value_threshold]
    if not suspicious_transactions.empty:
        print("检测到可疑高额交易:\n", suspicious_transactions)
    else:
        print("未检测到可疑交易")

monitor_transactions(transactions_df)
1
2
3
4
5
6
7
8
9
10

数据质量报告

定期生成数据质量报告，评估交易数据的准确性和完整性。

# 生成数据质量报告
def generate_quality_report(df):
    report = {
        "总交易数": len(df),
        "可疑交易数": len(df[df['交易金额'] > 10000]),
        "平均交易金额": df['交易金额'].mean()
    }
    return report

quality_report = generate_quality_report(transactions_df)
print("数据质量报告:\n", quality_report)
1
2
3
4
5
6
7
8
9
10
11

欺诈预防分析

利用监测结果预防潜在的欺诈行为，例如，通过进一步分析可疑交易的模式。

# 欺诈预防分析
def fraud_prevention_analysis(df):
    suspicious_df = df[df['交易金额'] > 10000]
    if not suspicious_df.empty:
        # 这里可以进行更深入的分析，例如模式识别、异常行为分析等
        print("进行深入分析的可疑交易:\n", suspicious_df)

fraud_prevention_analysis(transactions_df)
1
2
3
4
5
6
7
8

通过这个案例，金融机构能够利用 Python 实现有效的交易数据监测，及时识别和响应可疑交易，从而提升数据质量和防范欺诈风险。这些分析对于确保交易安全和维持机构声誉至关重要。

3.3.3 拓展案例 1：医院的患者数据质量改进

在这个案例中，我们将展示一家医院如何使用 Python 来提升其电子健康记录系统中患者数据的质量。

数据准备

假设我们有一份包含患者基本信息和医疗记录的数据集，数据中可能存在缺失值和不一致的信息。

import pandas as pd

# 示例患者数据
patient_data = {
    '患者ID': ['P001', 'P002', 'P003', 'P004'],
    '姓名': ['Alice', None, 'Charlie', 'Diana'],
    '年龄': [28, 34, None, 40],
    '最后访问日期': ['2023-09-01', '2023-08-15', '2023-09-10', '']
}

patients_df = pd.DataFrame(patient_data)
patients_df['最后访问日期'] = pd.to_datetime(patients_df['最后访问日期'], errors='coerce')
print(patients_df)
1
2
3
4
5
6
7
8
9
10
11
12
13

数据清洗

对数据进行清洗，处理缺失值和格式错误。

# 填补缺失的姓名和年龄
patients_df['姓名'].fillna('未知', inplace=True)
patients_df['年龄'].fillna(patients_df['年龄'].mean(), inplace=True)  # 用平均年龄填补

# 处理日期格式错误
patients_df['最后访问日期'].fillna(pd.to_datetime('today'), inplace=True)

print(patients_df)
1
2
3
4
5
6
7
8

数据质量监测

定期监测数据质量，特别是关注重要字段的完整性和准确性。

# 数据质量监测函数
def monitor_patient_data_quality(df):
    missing_names = df[df['姓名'] == '未知']
    missing_dates = df[pd.isnull(df['最后访问日期'])]
    
    if not missing_names.empty or not missing_dates.empty:
        print("存在缺失的重要信息")
    else:
        print("所有重要信息均完整")

monitor_patient_data_quality(patients_df)
1
2
3
4
5
6
7
8
9
10
11

数据质量报告

定期生成数据质量报告，以评估改进措施的效果。

# 生成数据质量报告
def generate_patient_data_quality_report(df):
    report = {
        "总患者数": len(df),
        "缺失姓名数": len(df[df['姓名'] == '未知']),
        "缺失最后访问日期数": len(df[pd.isnull(df['最后访问日期'])])
    }
    return report

quality_report = generate_patient_data_quality_report(patients_df)
print("患者数据质量报告:\n", quality_report)
1
2
3
4
5
6
7
8
9
10
11

通过这个案例，医院能够有效地改进电子健康记录系统中的患者数据质量，从而提供更准确和完整的医疗服务。定期的数据质量监测和报告有助于及时发现和解决数据问题，确保患者信息的准确性和完整性。

3.3.4 拓展案例 2：制造企业的库存数据优化

在这个案例中，我们将展示一家制造企业如何使用 Python 来优化其库存数据管理，减少过剩和短缺。

数据准备

假设我们有一份包含库存信息的数据集，数据中可能包含过时或不准确的库存记录。

import pandas as pd

# 示例库存数据
inventory_data = {
    '产品ID': ['PRD001', 'PRD002', 'PRD003', 'PRD004'],
    '库存数量': [150, 500, 0, 30],
    '安全库存水平': [50, 200, 100, 20]
}

inventory_df = pd.DataFrame(inventory_data)
print(inventory_df)
1
2
3
4
5
6
7
8
9
10
11

库存水平分析

对库存数据进行分析，识别库存过剩或短缺的问题。

# 库存水平分析
def analyze_inventory_levels(df):
    df['库存状态'] = df.apply(lambda row: '过剩' if row['库存数量'] > row['安全库存水平'] * 2 else 
                                      ('短缺' if row['库存数量'] < row['安全库存水平'] else '正常'), axis=1)
    return df

analyzed_inventory = analyze_inventory_levels(inventory_df)
print(analyzed_inventory)
1
2
3
4
5
6
7
8

预测模型

开发预测模型来预测未来的库存需求，基于销售趋势和季节性调整库存策略。

# 假设我们有历史销售数据，这里简化为直接使用库存数据作为演示
def predict_inventory_demand(df):
    # 这里的模型简化为：如果产品经常短缺，预测需求增加20%，如果经常过剩，预测减少20%
    df['预测库存需求'] = df.apply(lambda row: row['库存数量'] * 1.2 if row['库存状态'] == '短缺' else 
                                           (row['库存数量'] * 0.8 if row['库存状态'] == '过剩' else row['库存数量']), axis=1)
    return df

predicted_inventory = predict_inventory_demand(analyzed_inventory)
print(predicted_inventory)
1
2
3
4
5
6
7
8
9

库存优化建议

根据分析和预测结果，提供库存优化建议。

# 提供库存优化建议
def provide_inventory_optimization_advice(df):
    for index, row in df.iterrows():
        advice = "增加库存" if row['库存状态'] == '短缺' else ("减少库存" if row['库存状态'] == '过剩' else "保持当前水平")
        print(f"产品 {row['产品ID']}：{advice}")

provide_inventory_optimization_advice(predicted_inventory)
1
2
3
4
5
6
7

通过这个案例，制造企业能够有效地分析和预测其库存需求，优化库存管理，减少库存短缺和过剩的问题。这对于降低运营成本、提高效率和客户满意度至关重要。利用 Python 进行数据分析和预测模型的开发，提供了一个高效且可靠的方法来支持库存优化决策。

通过这些案例，我们可以看到数据质量监测和改进在不同行业中的应用和重要性。无论是金融、医疗还是制造行业，高质量的数据都是运营成功的基石。Python 作为一种强大的数据处理和分析工具，在这些过程中发挥着至关重要的作用。