运维大数据平台的建设与实践探索_智能运维平台设计 csdn

随着企业数字化转型的推进，运维管理面临着前所未有的挑战和机遇。为应对日益复杂且严峻的挑战，数字免疫系统和智能运维等概念应运而生。数字免疫系统和智能运维作为新兴技术，正引领着运维管理的新趋势。数字免疫系统和智能运维都借助大数据运维平台，实现数据驱动的运维策略，实时监控分析系统状态，自动识别异常行为、威胁和攻击，提供智能决策和预防性维护建议，实现自我保护和自我修复等，从根本上提高了系统安全性、稳定性和可用性。本文主要探讨运维大数据平台的建设和实践方法，旨在帮助组织构建数字免疫系统，实现智能化运维。

**数字免疫(Digital Immune System)：**未来充满了不确定性，但企业仍然需要明确的推进战略目标和举措。Gartner 在最新的重要战略技术趋势中提出了“数字免疫系统”(如图1所示)的概念。“数字免疫系统”的概念最早是在上世纪90年代的时候被提出，当时指的是一套完全自动化的防病毒解决方案。但是今天的“数字免疫系统”指的是一套用来构建稳定系统的软件设计、开发、运营和分析的一系列技术和实践。数字免疫系统保护应用程序和服务，使它们更具弹性和健壮性，以便从故障中能快速恢复，降低连续性风险。Gartner 预计，到 2025 年，投资构建数字免疫力的组织将通过减少 80% 的停机时间来提高客户满意度。

图1：数字免疫系统
1

**智能运维(AIOps)：**智能运维(如图2所示)是基于人工智能和大数据等高级分析技术，采用机器学习和数据科学来解决IT运维领域问题的应用，实现运维管理的自动化、智能化。智能运维通过对系统中产生的大量可观测性数据进行建模和分析，识别出系统中的问题点并进行响应，提高运维的效率和准确性，提高系统的稳定性和可靠性。

图2：智能运维
1

数字免疫系统与智能运维是寻求系统稳定性和故障恢复能力的两个关键要素，有着密切的关系(如图3所示)，共同致力于减缓故障、保障应用程序和服务的连续性，并确保遇到问题时实现快速恢复。二者的结合在构建和维护高效、稳定并具有自愈能力的系统方面发挥着重要作用。数字免疫系统作为智能运维的核心组件之一，有助于建立自动化、实时且富有反应力的运维策略。数字免疫系统强调的是软件设计的鲁棒性、弹性和恢复能力，而智能运维通过人工智能、大数据分析及场景感知等技术手段来提高整个 IT 系统的管理效率和运行水平。

图3：数字免疫和智能运维的关系
1

数字免疫系统和智能运维都依赖于运维大数据平台和数据分析，通过收集和分析大量运行数据，我们能更好地掌握系统状况，可以对潜在的安全威胁和运维问题做出快速、准确的预测和响应，并提炼出最佳实践，不断完善数字免疫系统和运维策略，提高系统稳定性和安全性。接下来，我们将深入分析各场景和运维数据平台之间的关系。

SRE

它的核心思路是通过引入软件工程的方法和思维模式，实现对系统运行过程的优化和预测故障。在运维大数据平台中，这意味着我们需要收集关键业务指标（如：延迟、错误率、吞吐量等）的数据，并通过分析这些数据，找出潜在风险和故障的根源。可以说，大数据分析能力是SRE实现运维自动化和高效解决问题的基础。

混沌工程

这是一种通过主动注入故障，模拟系统失效来提高系统抵抗力的实践。运维大数据平台可以实时监控模拟实验的结果，分析故障注入对系统性能的影响。通过这些数据，开发者和运维团队能更好地了解系统的弱点和容错能力，并提出相应的优化措施。

AI增强测试

利用人工智能技术对软件进行测试，从而提高测试覆盖率和准确性。运维大数据平台可以为AI测试提供海量的数据来源，以便AI能更好地理解系统行为和正常的性能水平，并从中发现潜在的风险。数据分析结果还可为AI训练模型提供指导，实现测试效果的持续优化。

可观测性

是理解系统内部状态和性能的关键因素。运维大数据平台通过汇总日志、指标、追踪等多种数据源，提供了一种全面的系统状态视角。这样，团队就能发现异常行为、确定故障原因，从而快速响应和解决问题。

自动修复

是指在检测到故障后，自动触发相应的修复措施。运维大数据平台可以实时监测系统状态，当检测到异常或故障时，自动触发相应的预案或修复策略。通过对大量数据进行历史分析，运维团队还能持续优化自动修复的策略，以降低系统故障对业务的影响。

应用程序供应链安全

关注整个软件开发、部署、运维过程中的安全性。运维大数据平台可以从多个维度（如：代码、环境、配置等）收集数据，实时监测潜在的安全风险。通过大数据分析，我们能够更及时、更准确地识别并修复潜在威胁，保证整个应用程序供应链的安全性。

智能运维

智能运维概念提出后，行业对运维内涵的理解也在发生变化，运维的边界由服务于IT拓展到服务于业务，运维的定位也由成本中心转向服务中心，智能运维演进的过程，更是IT运维向运营演进的过程。过去的运维是小数据，每一个运维模块都是一个数据孤岛，仅能满足传统运维的使用场景。而发展至今我们所关注的“新运维”，需要基于完整的大数据、AI算法来提供全栈式运维，面向泛运维甚至涵盖非运维的场景。

通过以上分析来看，不管是数字免疫场景还是智能运维场景都需要全面的可观测性数据，需要智能运维大数据平台来实现数据的拉通、整合和赋能，实现跨领域的协同，实现复杂系统中高效、稳定、安全运维。

智能运维大数据平台(如图4所示)是一个集数据收集、存储、处理、分析、可视化、数据服务和应用于一体的一站式平台，用于支持数据中心系统的可观测性、数字免疫和智能运维需求。运维大数据平台可以帮助企业有效地管理海量的运维数据，洞察系统运行状况，发现潜在问题，为运维团队提供有价值的洞察和建议。

图4：智能运维大数据平台
1

运维领域不缺乏数据，但普遍缺乏对如何提取数据、整合数据并以可操作的方式使用数据的理解。现代智能运维大数据平台需要一种全新的、囊括所有形式的数据架构，能解决运维数据多样性、分散性、规模和复杂性不断增加带来的一系列问题。Data Fabric和DataOps是数据管理和数据操作的两个关键概念。Data Fabric可以被描述为一个数据整合和管理平台，它可以帮助企业自动化管理和操作数据，结合了数据目录、数据治理、数据集成、数据管道和数据编排等关键的数据管理技术，进而形成高效可靠的数据资产化体系和数据服务化能力。而DataOps是一种数据操作方法论，其目标是能够让数据开发更敏捷、高效。

数据源层及采集技术

运维领域的数据源层包含了各种系统、网络、应用的监控数据以及日志数据，对不同层次的各种数据进行采集与分析可以为系统维护、故障排查、性能优化和运营管理等方面提供重要参考依据。数据源的可靠性和实时性对运维决策影响极大，因此需要充分考虑数据源的选择、采集方式、协议、标准等方面的因素，确保数据的准确性和及时性。数据采集技术有很多种，例如代理收集器、日志转发器、SDK等。代理收集器通常部署在需要收集数据的主机上。这些代理会定期收集指标数据并发送给数据存储。其中可观测性数据采集技术是问题的关键。可观测数据的三大分类包括日志（记录）、指标（度量）和跟踪（请求调用链）。

• 日志（Log）: 系统和应用运行产生的记录，包含事件、事务和出错信息。常用的日志收集工具有Logstash、Fluentd等。

• 指标（Metrics）: 衡量系统及其各组件的性能、容量、状态等关键性能指标。常用指标收集工具包括Prometheus、Zabbix等。

• 链路追踪（Tracing）: 跟踪请求在分布式系统中的调用情况，帮助诊断性能问题。典型的链路追踪工具如Skywalking、Jaeger等。

数据汇聚层及数据摄取技术

数据汇聚层指收集、预处理和存储来自不同数据源的数据，以便进一步处理和分析。主要通过以下几种数据摄取技术来实现：

**• 批量摄取（Batch Ingestion）