当前位置:   article > 正文

华为云服务介绍(一)_ecs css rds obs dcs modelarts dms

ecs css rds obs dcs modelarts dms

【计算】

弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后,您就可以像使用自己的本地PC或物理服务器一样,在云上使用弹性云服务器。

ECS产品架构:
在这里插入图片描述
弹性云服务器实例类型:
https://support.huaweicloud.com/productdesc-ecs/zh-cn_topic_0035470096.html

【存储】

  • 对象存储服务 OBS

对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。

OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,为用户提供了超大存储容量的能力,适合存放任意类型的文件,适合普通用户、网站、企业和开发者使用。OBS是一项面向Internet访问的服务,提供了基于HTTP/HTTPS协议的Web服务接口,用户可以随时随地连接到Internet,通过OBS管理控制台或各种OBS工具访问和管理存储在OBS中的数据。此外,OBS支持SDK和OBS API接口,可使用户方便管理自己存储在OBS上的数据,以及开发多种类型的上层业务应用。

产品文档:
https://support.huaweicloud.com/productdesc-obs/obs_03_0370.html

阿里云OSS
腾讯云COS
华为云OBS
Amazon S3
Azure 对象存储

【网络】

  • 虚拟私有云 VPC

虚拟私有云(Virtual Private Cloud,以下简称VPC),为云服务器、云容器、云数据库等资源构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云上资源的安全性,简化用户的网络部署。

每个VPC由一个私网网段、路由表和至少一个子网组成。用户在创建VPC时需要指定私网网段,且云资源必须部署在子网内,系统会自动生成默认路由表,保证同一个VPC下的所有子网互通。

华为云网络全景:
在这里插入图片描述
VPC为云上资源提供隔离的虚拟网络环境,同时VPC配合其他网络服务提供强大的网络连接功能:

  • 与互联网连接
    通过弹性公网IP,VPC中的资源都能与互联网连接通信;还可以通过NAT网关的网络地址转换能力,使得VPC内多个资源共享弹性公网IP。

  • 与本地数据中心网络连接
    通过云专线DC、虚拟私有网络VPN、企业交换机,可以构建VPC与本地数据中心的连接。

  • 云上VPC相互连接
    通过VPC对等连接功能,VPC可以与同一个区域之间其他VPC之间建立对等连接。
    通过云连接CC服务,可以在不同区域的VPC之间建立高速、稳定的网络连接。

产品文档:
https://support.huaweicloud.com/productdesc-vpc/network_overview_0001.html

  • 弹性负载均衡 ELB

弹性负载均衡(Elastic Load Balance,简称ELB)是将访问流量根据分配策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力,同时通过消除单点故障提升应用系统的可用性。

如下图所示,弹性负载均衡将访问流量分发到后端三台应用服务器,每个应用服务器只需分担三分之一的访问请求。同时,结合健康检查功能,流量只分发到后端正常工作的服务器,从而提升了应用系统的可用性。

图1 弹性负载均衡组件图:

在这里插入图片描述

ELB采用“FullNAT”模式转发。如下图所示,四层协议转发经过LVS,七层转发协议,经过LVS后再到NGINX。

在这里插入图片描述

当负载均衡器使用四层协议TCP/UDP时:

  • 四层协议TCP/UDP的流量只经过LVS集群进行转发。
  • LVS集群的所有节点会根据负载均衡器的流量分配策略,将接收到的访问请求直接分发到后端服务器。

当负载均衡器使用七层协议HTTP/HTTPS时:

  • 七层协议HTTP/HTTPS的流量,需要经过LVS集群先将访问请求平均分发到Nginx集群的所有节点,然后Nginx集群的节点再根据负载均衡器的转发策略,将接收到的请求最终分发到后端服务器。
  • 七层协议HTTPS的流量,在最终分发到服务器前,还需要在Nginx集群内进行证书验证以及数据包的解密操作。然后通过HTTP协议将请求分发到后端服务器。

产品文档:https://support.huaweicloud.com/productdesc-elb/elb_ug_fz_0003_01.html

【容器】

  • 云容器引擎 CCE

云容器引擎(Cloud Container Engine,简称CCE)提供高度可扩展的、高性能的企业级Kubernetes集群,支持运行Docker容器。借助云容器引擎,您可以在云上轻松部署、管理和扩展容器化应用程序。

云容器引擎深度整合高性能的计算(ECS/BMS)、网络(VPC/EIP/ELB)、存储(EVS/OBS/SFS)等服务,并支持GPU、NPU、ARM等异构计算架构,支持多可用区(Available Zone,简称AZ)、多区域(Region)容灾等技术构建高可用Kubernetes集群。

华为云是全球首批Kubernetes认证服务提供商(Kubernetes Certified Service Provider,KCSP),是国内最早投入Kubernetes社区的厂商,是容器开源社区主要贡献者和容器生态领导者。华为云也是CNCF云原生计算基金会的创始成员及白金会员,云容器引擎是全球首批通过CNCF基金会Kubernetes一致性认证的容器服务。

CCE产品架构:
在这里插入图片描述

Kubernetes (通常简称为"k8s") 是一个开源的容器编排部署管理平台,用于管理云平台中多个主机上的容器化应用。Kubernetes的目标是让部署容器化的应用简单并且高效,Kubernetes提供了应用部署、规划、更新、维护的一种机制。

对应用开发者而言,可以把Kubernetes看成一个集群操作系统。Kubernetes提供服务发现、伸缩、负载均衡、自愈甚至选举等功能,让开发者从基础设施相关配置等解脱出来。

Kubernetes基础知识:
https://support.huaweicloud.com/basics-cce/kubernetes.html

Kubernetes(k8s)与docker的关系:

在这里插入图片描述

Docker和Kubernetes并不是相互竞争的关系,而是相辅相成的关系。Docker负责创建和运行容器,而Kubernetes则负责管理和编排这些容器。开发团队可以通过Docker将应用程序及其依赖项打包成容器镜像,然后使用Kubernetes来自动部署、管理和监控这些容器。

Docker 是一种开源的容器化技术,它允许应用程序在一个独立、可移植的容器中运行。容器化是一种将应用程序及其所有依赖项打包到一个独立、可移植的运行时环境中的技术。使用 Docker,您可以将应用程序、库和其他依赖项捆绑到一个容器中,这样您就可以将容器移动到任何支持 Docker 的计算机上,并且可以保证容器在不同的环境中都能够运行。

尽管Docker带来了容器化技术的革命,但随着应用程序的规模不断增长,管理大量容器变得复杂。这就引出了容器编排的需求,即自动化地管理、扩展和部署容器化应用程序的工具。

Kubernetes(常简称为K8s)在这个背景下应运而生。它是一个开源的容器编排平台,由Google发起并捐赠给Cloud Native Computing Foundation(CNCF)管理。Kubernetes可以自动处理容器的部署、伸缩、负载均衡、自愈合管理等任务,从而显著简化了大规模容器化应用程序的运维工作。

【数据库】

  • 云数据库 RDS

在这里插入图片描述
云数据库RDS(Relational Database Service,简称RDS)是一种基于云计算平台的稳定可靠、弹性伸缩、便捷管理的在线云数据库服务。云数据库RDS支持以下引擎:

MySQL
PostgreSQL
SQL Server
MariaDB

云数据库RDS服务具有完善的性能监控体系和多重安全防护措施,并提供了专业的数据库管理平台, 让用户能够在云上轻松的进行设置和扩展云数据库。通过云数据库RDS服务的管理控制台,用户无需编程就可以执行所有必需任务,简化运营流程,减少日常运维工作量,从而专注于开发应用和业务发展。

产品文档:
https://support.huaweicloud.com/productdesc-rds/rds_01_picture.html

RDS for MySQL用户指南:
https://support.huaweicloud.com/usermanual-rds/rds_mysql_02_0001.html

RDS for MySQL慢SQL问题定位
https://support.huaweicloud.com/usermanual-rds/rds_08_00009.html

  • 数据复制服务 DRS

数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。

数据复制服务提供了实时迁移、备份迁移、实时同步、数据订阅和实时灾备等多种功能。

产品文档:
https://support.huaweicloud.com/productdesc-drs/drs_01_0002.html

【应用中间件】

分布式消息服务 DMS

兼容业界主流的Kafka、RocketMQ、RabbitMQ的高可用消息队列服务,适用于应用解耦、突发流量处理以及与第三方应用的集成。
分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。

在这里插入图片描述

Kafka相关概念:

华为云使用Kafka作为消息引擎,以下概念基于Kafka进行描述。

Topic
消息主题。消息的生产与消费,围绕消息主题进行生产、消费以及其他消息管理操作。
Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。

生产者(Producer)
向Topic(消息主题)发布消息的一方。发布消息的最终目的在于将消息内容传递给其他系统/模块,使对方按照约定处理该消息。

消费者(Consumer)
从Topic(消息主题)订阅消息的一方。订阅消息最终目的在于处理消息内容,如日志集成场景中,监控告警平台(消费者)从主题订阅日志消息,识别出告警日志并发送告警消息/邮件。

代理(Broker)
即Kafka集群架构设计中的单个Kafka进程,一个Kafka进程对应一台服务器,因此手册中描述的代理,还包括对应的存储、带宽等服务器资源。

分区(Partition)
为了实现水平扩展与高可用,Kafka将Topic划分为多个分区,消息被分布式存储在分区中。

副本(Replica)
消息的备份存储。为了确保消息可靠,Kafka创建Topic时,每个分区会分别从代理中选择1个或多个,对消息进行冗余存储。

Topic的所有消息分布式存储在各个分区上,分区在每个副本存储一份全量数据,副本之间的消息数据保持同步,任何一个副本不可用,数据都不会丢失。
每个分区都随机挑选一个副本作为Leader,该分区所有消息的生产与消费都在Leader副本上完成,消息从Leader副本复制到其他副本(Follower)。
Kafka的主题和分区属于逻辑概念,副本与代理属于物理概念。下图通过消息的生产与消费流向,解释了Kafka的分区、代理与主题间的关系。

图1 Kafka消息流
在这里插入图片描述

老化时间
消息的最长保留时间,消费者必须在此时间结束前消费消息,否则消息将被删除。删除的消息,无法被消费。

产品文档:https://support.huaweicloud.com/productdesc-kafka/glossary-kafka.html

分布式缓存服务 DCS

分布式缓存服务(Distributed Cache Service,简称DCS)是华为云提供的一款兼容Redis的高速内存数据处理引擎,为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力,满足用户高并发及数据快速访问的业务诉求。

Redis应用场景:
很多大型电商网站、视频直播和游戏应用等,存在大规模数据访问,对数据查询效率要求高,且数据结构简单,不涉及太多关联查询。这种场景使用Redis,在速度上对传统磁盘数据库有很大优势,能够有效减少数据库磁盘IO,提高数据查询效率,减轻管理维护工作量,降低数据库存储成本。Redis对传统磁盘数据库是一个重要的补充,成为了互联网应用,尤其是支持高并发访问的互联网应用必不可少的基础服务之一。

以下举几个典型样例:

  • (电商网站)秒杀抢购

    电商网站的商品类目、推荐系统以及秒杀抢购活动,适宜使用Redis缓存数据库。

    例如秒杀抢购活动,并发高,对于传统关系型数据库来说访问压力大,需要较高的硬件配置(如磁盘IO)支撑。Redis数据库,单节点QPS支撑能达到10万,轻松应对秒杀并发。实现秒杀和数据加锁的命令简单,使用SET、GET、DEL、RPUSH等命令即可。

    加锁部分,可参考最佳实践: 使用DCS实现分布式锁

  • (视频直播)消息弹幕

    直播间的在线用户列表,礼物排行榜,弹幕消息等信息,都适合使用Redis中的SortedSet结构进行存储。

    例如弹幕消息,可使用ZREVRANGEBYSCORE排序返回,在Redis 5.0中,新增了zpopmax,zpopmin命令,更加方便消息处理。

  • (游戏应用)游戏排行榜

    在线游戏一般涉及排行榜实时展现,比如列出当前得分最高的10个用户。使用Redis的有序集合存储用户排行榜非常合适,有序集合使用非常简单,提供多达20个操作集合的命令。

    可参考最佳实践:使用DCS实现排行榜功能

  • (社交APP)返回最新评论/回复

    在web类应用中,常有“最新评论”之类的查询,如果使用关系型数据库,往往涉及到按评论时间逆排序,随着评论越来越多,排序效率越来越低,且并发频繁。

    使用Redis的List(链表),例如存储最新1000条评论,当请求的评论数在这个范围,就不需要访问磁盘数据库,直接从缓存中返回,减少数据库压力的同时,提升APP的响应速度。

springboot 整合redis:

https://bbs.huaweicloud.com/blogs/353514

如何发现和处理大Key、热Key:
https://support.huaweicloud.com/bestpractice-dcs/dcs-bp-0220411.html

对于如何避免产生大Key和热Key,需要在业务设计阶段就考虑。参考Redis使用规范。

Redis使用规范:

https://support.huaweicloud.com/bestpractice-dcs/dcs-bp-191113001.html

多活高可用服务 MAS

多活高可用服务(Multi-Site High Availability Service,简称MAS)源自华为消费者多活应用高可用方案,提供从流量入口、数据到应用层的端到端的业务故障切换及容灾演练能力,保障故障场景下的业务快速恢复,提升业务连续性。

MAS应用场景:
在这里插入图片描述

Mas-Redis-SDK 使用场景:

local-read-async-double-write(读写本地异步写远端)读写本地异步写远端,更适用于读多写少场景,使用sdk同步两个redis,一条写命令会先进行本地redis的执行,成功后,异步写到远端。
single-read-async-double-write(单边读写异步双写)读写指定异步双写,适用于读多写少场景,使用sdk同步两个redis,一条写命令会先在指定redis上执行,成功后,异步写到另一端。
single-read-write(单边读写)(1) 读操作:同步路由到指定active的redis;写操作:同步路由到指定active的redis。(2) 支持mas动态切换激活数据源。
local-read-single-write(本地读单边写)对于SDK,读操作:同步路由到local redis;写操作:同步路由到active redis。此场景下redis之间依赖同步服务相互同步。
local-read-singlewrite-support-readable(本地读单边写)对于SDK,读操作:当redis的readable == true(在mas管理页面有设置)同步路由到到local redis, 否则, 同步路由到active redis;写操作:同步路由到active redis。
local-read-async-double-write-support-readable(读写本地异步双写)对于SDK,读操作:当local redis的readable == true(在mas管理页面有设置)同步路由到到local redis, 否则, 同步路由到active redis;写操作:当local redis的readable == true(在mas管理页面有设置)同步路由到近端redis,同时异步发送到远端redis。否则同步路由到active redis。异步写另外一端。

比如 redis读多写少的业务场景,redis里存在数据缓存、分布式锁、动态配置项等, 就可以采用single-read-async-double-write(单边读写异步双写)的模式部署,当redis服务故障时可以支持redis业务在两个az间的切换降级:
在这里插入图片描述

使用指南:
springboot接入方法:https://support.huaweicloud.com/devg-mas/mas-devg-0026.html
对接RedisTemplate:https://support.huaweicloud.com/devg-mas/mas-devg-00115.html

产品文档:https://support.huaweicloud.com/devg-mas/mas-devg-0097.html

API网关 APIG

API网关(API Gateway)是为企业和开发者提供的高性能、高可用、高安全的云原生网关服务,能快速将企业服务能力包装成标准API接口,帮助您轻松构建、管理和部署任意规模的API,并上架API云商店进行售卖。借助API网关,可以简单、快速、低成本、低风险地实现内部系统集成和业务能力开放。API网关帮助您变现服务能力的同时,降低企业研发投入,让您专注于企业核心业务,提升运营效率。

如果您作为API提供者,您可以将成熟的业务能力(如虚拟机集群、数据、微服务集群等)作为后端服务,在API网关中开放API,并通过线下方式提供给API调用者使用,或者发布到API云商店,实现业务能力变现。
如果您作为API调用者,您可以获取并调用API提供者在API网关开放的API,减少开发时间与成本。
例如,企业A在API网关中开放了电话号码归属地查询API,并发布到API云商店。企业B通过API云商店调用此API,并支付调用此API所产生的费用。此时,企业A通过开放业务能力,使自身服务能力变现,企业B直接调用企业A开放的API,减少开发时间与成本,最终实现企业间的共赢。

图1 API网关服务简介
在这里插入图片描述

最佳实践:API网关跨VPC开放后端服务:
在这里插入图片描述

更多实践参考:https://support.huaweicloud.com/bestpractice-apig/apig-bp-0016.html

产品文档:https://support.huaweicloud.com/productdesc-apig/apig_0080101651.html

微服务引擎 CSE

微服务引擎(Cloud Service Engine,CSE),是用于微服务应用的云中间件,支持华为云贡献到Apache社区的注册配置中心Servicecomb引擎、开源增强的注册配置中心Nacos引擎和应用网关。用户可结合其他云服务,快速构建云原生微服务体系,实现微服务应用的快速开发和高可用运维。

  • 应用网关

CSE应用网关是各类应用的流量入口,是基于Envoy项目增强的云上托管类网关产品,实现Ingress与微服务网关合一的全新形态。

其兼容微服务应用、注册中心对接、容器Service、容器Ingress、固定地址的虚机应用等多种后端形态,支持HTTP、gRPC、Dubbo RPC、WebSocket等多种协议类型,以及全链路灰度发布、安全认证等多种服务治理特性。

  • Nacos引擎

CSE Nacos是基于开源Nacos 2.x版本开发的一款微服务注册发现、配置管理平台。支持多种开发语言、框架的接入使用,具有基于DNS的服务发现能力。

  • ServiceComb引擎

ServiceComb引擎采用的注册发现中心Apache ServiceComb Service Center,是一个RESTful风格的、高可用无状态的服务注册发现中心,提供微服务发现和微服务管理功能。服务提供者可以将自身的实例信息注册到服务注册发现中心,以供服务消费者发现并使用。ServiceComb引擎可无缝兼容Spring Cloud、ServiceComb等开源生态。

在这里插入图片描述
在这里插入图片描述

【大数据】

  • MapReduce服务 MRS


在这里插入图片描述

大数据是人类进入互联网时代以来面临的一个巨大问题:社会生产生活产生的数据量越来越大,数据种类越来越多,数据产生的速度越来越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台,可以充分利用集群的计算和存储能力,完成海量数据的处理。企业自行部署Hadoop系统有成本高,周期长,难运维和不灵活等问题。

针对上述问题,华为云提供了大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。

图1 MRS架构

在这里插入图片描述

MRS架构包括了基础设施和大数据处理流程各个阶段的能力。

  • 基础设施
    MRS基于华为云弹性云服务器ECS构建的大数据集群,充分利用了其虚拟化层的高可靠、高安全的能力。
    虚拟私有云(VPC)为每个租户提供的虚拟内部网络,默认与其他网络隔离。
    云硬盘(EVS)提供高可靠、高性能的存储。
    弹性云服务器(ECS)提供的弹性可扩展虚拟机,结合VPC、安全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。

  • 数据采集
    数据采集层提供了数据接入到MRS集群的能力,包括Flume(数据采集)、Loader(关系型数据导入)、Kafka(高可靠消息队列),支持各种数据源导入数据到大数据集群中。使用云数据迁移云服务也可以将外部数据导入至MRS集群中。

  • 数据存储
    MRS支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满足不同计算引擎的要求。
    HDFS是大数据上通用的分布式文件系统。
    OBS是对象存储服务,具有高可用低成本的特点。
    HBase支持带索引的数据存储,适合高性能基于索引查询的场景。

  • 数据融合处理
    MRS提供多种主流计算引擎:MapReduce(批处理)、Tez(DAG模型)、Spark(内存计算)、SparkStreaming(微批流计算)、Storm(流计算)、Flink(流计算),满足多种大数据应用场景,将数据进行结构和逻辑的转换,转化成满足业务目标的数据模型。
    基于预设的数据模型,使用易用SQL的数据分析,用户可以选择Hive(数据仓库),SparkSQL以及Presto交互式查询引擎。

  • 数据呈现调度
    用于数据分析结果的呈现,并与数据治理中心DataArts Studio集成,提供一站式的大数据协同开发平台,帮助用户轻松完成数据建模、数据集成、脚本开发、作业调度、运维监控等多项任务,可以极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。

  • 集群管理
    以Hadoop为基础的大数据生态的各种组件均是以分布式的方式进行部署,其部署、管理和运维复杂度较高。
    MRS集群管理提供了统一的运维管理平台,包括一键式部署集群能力,并提供多版本选择,支持运行过程中集群在无业务中断条件下,进行扩缩容、弹性伸缩。同时MRS集群管理还提供了作业管理、资源标签管理,以及对上述数据处理各层组件的运维,并提供监控、告警、配置、补丁升级等一站式运维能力。

图2 MRS与其他服务的关系图

在这里插入图片描述

产品文档:
https://support.huaweicloud.com/productdesc-mrs/mrs_08_0001.html

  • 云搜索服务 CSS


在这里插入图片描述

云搜索服务(Cloud Search Service,简称CSS)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。云搜索服务是华为云ELK生态的一系列软件集合,为您全方位提供托管的ELK生态云服务,兼容Elasticsearch、Kibana、Cerebro等软件。

Elasticsearch是一个搜索引擎,可以实现单机和集群部署,并提供托管的分布式搜索引擎服务。在ELK整个生态中,Elasticsearch集群支持结构化、非结构化文本的多条件检索、统计、报表。Elastic Search基于lucene,封装了许多lucene底层功能,提供了分布式的服务、简单易用的restful API接口和许多语言的客户端。核心概念如下:
在这里插入图片描述
Elasticsearch搜索引擎相关内容的深入介绍可参见《Elasticsearch:权威指南》:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html。

Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。Kibana的官方文档请参见:https://www.elastic.co/guide/en/kibana/current/index.html

云搜索服务的Elasticsearch集群默认提供Kibana,无需安装部署,即可一键访问Kibana。云搜索服务兼容了开源Kibana可视化展现和Elasticsearch统计分析能力。

图1 CSS与其他服务的关系
在这里插入图片描述

产品文档:
https://support.huaweicloud.com/productdesc-css/css_04_0028.html

使用Spring Boot接入集群:
https://support.huaweicloud.com/bestpractice-css/css_07_0034.html

【管理与监管】

  • 云日志服务 LTS

云日志服务(Log Tank Service,简称LTS),用于收集来自主机和云服务的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。

图1 云日志服务示意图:
在这里插入图片描述
云日志服务可以采集主机和云服务的日志数据,采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据。

产品文档:
https://support.huaweicloud.com/productdesc-lts/lts-03208.html

  • 应用性能管理 APM

华为云应用性能管理服务(Application Performance Management,简称APM)帮助运维人员快速发现应用的性能瓶颈,以及故障根源的快速定位,为用户体验保驾护航。

您无需修改代码,只需为应用安装一个APM Agent,就能够对该应用进行全方位监控,帮助您快速定位出错接口和慢接口、重现调用参数、发现系统瓶颈,从而大幅提升线上问题诊断的效率。目前支持JAVA、Python、Node.js、Go、Php和.Net应用。

产品文档:
https://support.huaweicloud.com/productdesc-apm2/apm_01_0001.html

性能优化


避免全表扫描:

1,使用索引,可以减少行数扫描,
2,限制查询的行数:在查询时,可以使用 LIMIT 语句限制查询的行数,
3,使用WHERE子句:在查询时,可以使用 WHERE 子句筛选出符合条件的行,

SQL语句优化:

1,避免使用SELECT *,而应该明确指定需要查询的列,这样可以减少行数扫描。
2,避免使用子查询:子查询是指在一个查询中嵌套另一个查询。虽然子查询可以实现一些复杂的查询操作,但是它会导致查询效率低下,因此应该尽量避免使用。
3,使用JOIN语句:在进行多表查询时,应该使用JOIN语句,而不是使用多个单表查询。这样可以减少行数扫描,提高查询效率。

查询频繁SQL优化:

1,合理控制访问数据库时间间隔。如循环读取清理任务表, 如果长时间没有待消费的任务,可以适当增加sleep轮询间隔,减少轮询对数据库的压力。
2,如果是常量表,可以用本地缓存;其他可用redis缓存。

MySQL扩展:

1,业务拆分
2,主从复制
3,数据库分库与分表。

详见:https://blog.csdn.net/qq_15437629/article/details/132503583?spm=1001.2014.3001.5501

第三方服务

阿里巴巴开源excel处理框架EasyExcel的Excel读写

SDK开发指南

  • SDK V3版本简介(新)

https://support.huaweicloud.com/devg-sdk/zh-cn_topic_0070637169.html

访问和使用SDK V3版本
在线生成SDK代码
SDK列表

华为云服务总览

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文内容由网友自发贡献,转载请注明出处:https://www.wpsshop.cn/w/很楠不爱3/article/detail/380375
推荐阅读
相关标签
  

闽ICP备14008679号