AWS ECS On Fargate 监控可观测最佳实践

作者：小蓝xlanll | 2024-06-11 07:21:31

踩

概述

Amazon ECS on Fargate 为用户提供了简单、高效且可靠的容器化解决方案，使用户能够专注于应用程序开发和运行，而无需担心基础设施管理的复杂性。与其同时，用户需要实时了解在该环境中应用程序运行的性能、可用性、健康状况和资源使用情况。从而能够及时发现潜在问题并采取措施，帮助用户优化资源使用、感知问题和识别瓶颈等，以提高整体性能和用户体验。

观测云全面支持在 Amazon ECS on Fargate 上的可观测能力，提供包括对基础资源的监控、应用程序链路跟踪和日志监控等。文章将对在该环境上如何实现可观测进行说明和展示。

Amazon ECS On Fargate 简介

Amazon Elastic Container Service (Amazon ECS) 是一种高度可扩展、高性能的容器编排服务，支持 Docker 容器,可以轻松运行和扩展容器化应用程序。Amazon ECS 与Fargate 相结合，提供了一种无需管理基础设施的方式来运行容器。

Fargate 是一种无服务器计算引擎，可以在 Amazon ECS 中运行容器。它允许您在不需要预置或管理服务器的情况下运行容器。Fargate 负责管理底层的计算基础设施,如虚拟机、内核补丁、安全更新等。您只需要关注容器化应用程序的打包和部署。

使用 Amazon ECS 和 Fargate 的主要优势包括：

无服务器：不需要预置或管理基础设施,可以快速启动和扩展容器化应用程序。
简单性：不需要管理底层的操作系统、集群或虚拟机。Fargate 负责管理基础设施。
可扩展性：可以根据应用程序需求自动扩展和缩减容器实例。
高可用性： Fargate 跨多个可用区域运行容器,提供高可用性。
安全性： Fargate 提供了安全的计算环境,并与 AWS 安全服务集成。
集成：与其他亚马逊云服务（如 ALB、CloudWatch、IAM 等）无缝集成。

Amazon ECS 与 AWS Fargate 结合使用，可以帮助您更轻松地部署、管理和扩展容器化应用程序，而无需担心底层基础设施的管理。这种无服务器的方式可以降低运维成本，提高资源利用率，加快应用程序的交付速度。

AWS ECS On Fargate 中的监控数据采集说明

DataKit 是观测云的一款开源、一体式的数据采集 OneAgent，它提供全平台操作系统（Linux/Windows/macOS）的支持，拥有全面数据采集能力，涵盖主机、容器、中间件、Tracing、日志等各种数据采集的能力。

在 ECS 环境中，将通过 DataKit 进行监控数据采集，并上传到观测云。

如上图所示，在 ECS On Fargate 的环境中，在每一个需要接入可观测数据的 ECS 任务中，除了业务容器外，都需要配置一一对应的 DataKit 和 Log-router 容器。DataKit 会负责采集运行任务中容器的运行指标，应用的链路数据等。日志数据通过 Log-router（Amazon Firelens - Fluent-bit ）的方式进行采集，并把采集的日志数据通过 logstream 的方式传输给 DataKit，并由 DataKit 进行数据处理后最终上传给观测云进行后续的查询和分析。各类型监控数据采集的进一步说明如下：

指标采集

DataKit 支持通过环境变量参数 “ENV_ECS_FARGATE: on” 的设置开启 AWS ECS Fargate 相关的运行指标。同时，支持通过 DataKit 中的 “statsd” 采集模块来对例如 Java 应用的 JVM 运行指标、NodeJS 应用的 rumetime 运行指标等进行采集和监控分析。

链路采集

在 AWS ECS 环境中，应用容器在启动时，通过加载 ddtrace agent 的方式产生对应的调用链路数据，并发送给 DataKit。DataKit 作为 Sidecar 与应用容器运行在同一个 Amazon ECS 任务中来接收应用产生的链路数据，并上传到观测云中进行查询分析。

日志采集

在 AWS ECS 环境中，通过 AWS FireLens(Fluent-Bit 插件) 作为 Sidecar 与应用容器运行在同一个 Amazon ECS 任务中来采集应用日志数据，并把采集到的日志数据发送给 datakit 的 logstream 采集模块，并最终上传观测云中进行日志的查询和分析。无需修改应用部署脚本，手动安装额外软件或编写其他代码。

AWS ECS 任务配置说明

该部分将对如何在 ECS On Fargate 环境中进行观测数据采集的部署配置进行说明。

前置条件

应用镜像

以 Java 应用为例，如果需要采集 Java 应用的调用链路数据，需要在应用的镜像中提前加入 ddtrace java agent 文件，并预留一个 Java 的定制化启动参数入口，方便后续对启动参数通过环境变量进行灵活调整。如下是这部分在 dockerfile 中的示例：


Bash
COPY dd-java-agent.jar /dd-java-agent.jar
ENTRYPOINT ["sh", "-ec", "exec java ${JAVA_OPTS} -jar ${your_app.jar}"]

观测云提供的最新 Java DDTrace agent 的下载链接地址：

https://static.guance.com/dd-image/dd-java-agent.jar

创建 ECS 任务定义

在同一个 AWS ECS 任务中，将创建三个容器，分别是应用容器、datakit 容器和 log-router 容器。详细的容器配置说明如下：

应用容器

应用容器 Json 格式的配置信息如下：


Bash
        {
            "name": "javatest",
            "image": "registry.cn-xxx.com/test/javatest:v2.0",
            "cpu": 1024,
            "portMappings": [
                {
                    "name": "javservice",
                    "containerPort": 9080,
                    "hostPort": 9080,
                    "protocol": "tcp",
                    "appProtocol": "http"
                }
            ],
            "essential": true,
            "environment": [
                {
                    "name": "DD_SERVICE",
                    "value": "java_service"
                },
                {
                    "name": "DD_ENV",
                    "value": "test"
                },
                {
                    "name": "JAVA_OPTS",
                    "value": "-javaagent:/dd-java-agent.jar"
                },
                {
                    "name": "DD_AGENT_HOST",
                    "value": "localhost"
                },
                {
                    "name": "DD_TRACE_AGENT_PORT",
                    "value": "9529"
                }
            ],
            "mountPoints": [],
            "volumesFrom": [],
            "logConfiguration": {
                "logDriver": "awsfirelens",
                "options": {
                    "Format": "json",
                    "Host": "localhost",
                    "Name": "http",
                    "Port": "9529",
                    "URI": "/v1/write/logstreaming?type=firelens&source=java&service=javatest&tags=project=test,app_name=java_app,cloud=amazon"
                }
            },
            "systemControls": []
        }

这里有两个主要的配置项，说明如下：

通过 environment 变量 JAVA_OPTS 配置 Java 的启动参数以及 ddtrace 相关的参数。DDtrace 具体支持的参数说明，可以参考如下链接： Java - 观测云文档
logConfiguration，配置通过 AWS Firelens fluent-bit plugin (logstash) 来进行应用日志的采集和转发。关于AWS Firelens plugin的详细信息，参考如下的链路： amazon-ecs-firelens-examples/examples/fluent-bit/logstash at mainline · aws-samples/amazon-ecs-firelens-examples · GitHub

关于在 URI 配置中，logstreaming 支持的参数说明如下：

type：数据格式，目前支持 influxdb 和 firelens 类型
- 当 type 为 inflxudb 时（ /v1/write/logsreaming?type=influxdb ），说明数据本身就是行协议格式将只添加内置 Tags 不再做其他操作
- 当 type 为 firelens 时（ /v1/write/logstreaming?type=firelens ），数据格式应是 JSON 格式的多条日志
- 当此值为空时，会对数据做分行和 Pipeline 等处理
source：标识数据来源
service：添加 service 标签字段
tags：添加自定义 tag，多个 tag 间以英文逗号分割
Pipeline：指定数据需要使用的 pipeline 名称

Datakit 容器

Datakit 容器 Json 格式的配置信息如下：


Bash
{
            "name": "datakit",
            "image": "pubrepo.guance.com/datakit/datakit:latest",
            "cpu": 0,
            "portMappings": [],
            "essential": false,
            "environment": [
                {
                    "name": "ENV_DATAKIT_INPUTS",
                    "value": "[[inputs.logstreaming]] \n ignore_url_tags = false"
                },
                {
                    "name": "ENV_DATAWAY",
                    "value": "https://openway.guance.com?token=tkn_098042exxxx"
                },
                {
                    "name": "ENV_HTTP_LISTEN",
                    "value": "0.0.0.0:9529"
                },
                {
                    "name": "ENV_DEFAULT_ENABLED_INPUTS",
                    "value": "dk,container,ddtrace,statsd"
                },
                {
                    "name": "ENV_ECS_FARGATE",
                    "value": "on"
                }
            ],
            "mountPoints": [],
            "volumesFrom": [],
            "systemControls": []
        }

通过 environment 环境变量来对 DataKit 进行对应的配置。部分变量使用说明如下：

ENV_DATAKIT_INPUTS：开启 logstreaming 采集模块。主要用来接收通过 AWS Firelens fluent-bit 采集的日志数据
ENV_DATAWAY：数据上传路由地址。每个工作空间都会有一一对应的 Token
ENV_HTTP_LISTEN：DataKit 默认监听地址和端口
ENV_DEFAULT_ENABLED_INPUTS：配置默认开启的数据采集器模块
ENV_ECS_FARGATE：是否开启采集 ECS 中容器运行的相关指标

Log-Router 容器

Log-Router 容器 Json 格式的配置信息如下：


Bash
{
            "name": "log_router",
            "image": "public.ecr.aws/aws-observability/aws-for-fluent-bit:stable",
            "cpu": 0,
            "memoryReservation": 50,
            "portMappings": [],
            "essential": true,
            "environment": [],
            "mountPoints": [],
            "volumesFrom": [],
            "user": "0",
            "logConfiguration": {
                "logDriver": "awslogs",
                "options": {
                    "awslogs-create-group": "true",
                    "awslogs-group": "/ecs/ecs-aws-firelens-sidecar-container",
                    "awslogs-region": "cn-northwest-1",
                    "awslogs-stream-prefix": "firelens"
                }
            },
            "systemControls": [],
            "firelensConfiguration": {
                "type": "fluentbit"
            }
        }