istio-proxy性能洞察之路---性能调研的终点、调优之路的出发点_istio proxy

最近配合公司落地 service mesh，整体架构采用了istio 的部署架构，但是最近对envoy的sidecar做了压力测试，sidecar的性能是十分的差

说下istio-proxy是istio社区对envoy做了插件，包装成了istio-proxy,git目录是

https://github.com/istio/proxy

落地istio之后我们对istio-proxy性能进行了压测，每年技术大会演讲的envoy做sidecar在我们压测下，是那么单薄，显得差强人意，下面公布我们架构组的压测数据，希望给落地istio的朋友一些借鉴

一、envoy包装后的istio-proxy压测数据

我们的配置采用istio1.11官方httpbin的默认配置

下面开始公布我们的调研数据，当然这些调研数据也不全是我的成果，是项目组一起探测落地的

并发数变大时候，envoy 延迟时间变大分析

单独测试inbound ，使用ab 直接压测 pod 的ip：port

单个并发下： 请求平均时间 0.88ms

20个并发下： 请求平均时间5ms + 

事件循环：日志截图，循环处理不同的socket 事件：

 事件循环堆栈截图：

C1232 downstream 连接标识符
 
C988  upstream 连接标识符
 
 
 
下图是 长连接下的日志分析：
 
'x-b3-traceid', '10b7c3dd2c26c80c723efb80014f4da4'
 
2021-11-01T11:51:55.853815Z    trace    external/envoy/source/common/network/raw_buffer_socket.cc:67    envoy connection    [C1232] write returns: 310 前一个请求结束
前一个请求结束到下个请求过来 854531 - 853815 = 0.7ms
2021-11-01T11:51:55.854531Z    trace    external/envoy/source/common/network/connection_impl.cc:551    envoy connection    [C1232] socket event: 3
2021-11-01T11:51:55.854531Z    trace    external/envoy/source/common/network/connection_impl.cc:660    envoy connection    [C1232] write ready
 
（854531-854541）10 微妙读取header， （854543-854585）30~40 微妙解析http
854531   [C1232] envoy connection
854536    trace    external/envoy/source/common/network/connection_impl.cc:589    envoy connection    [C1232] read ready. dispatch_buffered_data=false
854541   raw_buffer_socket.cc:24    envoy connection    [C1232] read returns: 113
+10微妙
854543   raw_buffer_socket.cc:37    envoy connection    [C1232] read error: Resource temporarily unavailable
854566  [C1232] onHeadersCompleteBase
854571  http/http1/codec_impl.cc:1044    envoy http    [C1232] Server: onHeadersComplete size=4   
**** header 解析完成30微妙
+40微妙
 
854576  external/envoy/source/common/network/connection_impl.cc:352    envoy connection    [C1232] readDisable: disable=true disable_count=0 state=0 buffer_length=113
+45微妙
 
                ConnectionManagerImpl::ActiveStream::decodeHeaders
854585     debug    external/envoy/source/common/http/conn_manager_impl.cc:857    envoy http    [C1232][S3760040057055989506] request headers complete (end_stream=true):
+ 54微妙
 
 
854586    debug    external/envoy/source/common/http/filter_manager.cc:825    envoy http    [C1232][S3760040057055989506] request end stream
+55微妙
 
 
32微妙：854618 - 854586 
854618    trace    external/envoy/source/common/http/filter_manager.cc:546    envoy http    [C1232][S3760040057055989506] decode headers called: filter=0x56081e54dd50 status=0
854618    trace    external/envoy/source/common/http/filter_manager.cc:546    envoy http    [C1232][S3760040057055989506] decode headers called: filter=0x56081ebde770 status=0
854620    trace    external/envoy/source/common/http/filter_manager.cc:546    envoy http    [C1232][S3760040057055989506] decode headers called: filter=0x56081e9292d0 status=0
854627    trace    external/envoy/source/common/http/filter_manager.cc:546    envoy http    [C1232][S3760040057055989506] decode headers called: filter=0x56081e9a5570 status=0
'x-request-id', 'e2ba0a92-2e49-9243-8edc-e05fcac6d35d'
'x-b3-traceid', '10b7c3dd2c26c80c723efb80014f4da4'
'x-b3-spanid', '723efb80014f4da4'
 
854630    trace    external/envoy/source/common/http/filter_manager.cc:546    envoy http    [C1232][S3760040057055989506] decode headers called: filter=0x56081ebdf810 status=0
+99微妙
 
854630   router.cc:443    envoy router    [C1232][S3760040057055989506] cluster 'inbound|9999||' match for URL '/pppp'
854647   external/envoy/source/common/router/router.cc:630    envoy router    [C1232][S3760040057055989506] router decoding headers:
 
854657    debug    external/envoy/source/common/conn_pool/conn_pool_base.cc:236    envoy pool    [C988] using existing connection
854658Z    debug    external/envoy/source/common/conn_pool/conn_pool_base.cc:175    envoy pool    [C988] creating stream
 
854661   external/envoy/source/common/router/upstream_request.cc:386    envoy router    [C1232][S3760040057055989506] pool ready
 
854671Z    trace    external/envoy/source/common/network/connection_impl.cc:474    envoy connection    [C988] writing 299 bytes, end_stream false
 
854678   external/envoy/source/common/http/filter_manager.cc:546    envoy http    [C1232][S3760040057055989506] decode headers called: filter=0x56081e9a5420 status=1（结束filter chain）
854678 - 854630 =  48微妙（router filter耗时）
+147微妙
854681   trace    external/envoy/source/common/http/http1/codec_impl.cc:613    envoy http    [C1232] parsed 113 bytes
 
854681  - 854531 = 0.15ms， 从接收客户端请求，到处理完毕转发
 
请求发送到可写0.5 ms（）
855179   trace    external/envoy/source/common/network/connection_impl.cc:551    envoy connection    [C1232] socket event: 2
 
2021-11-01T11:51:55.855180
855180   trace    external/envoy/source/common/network/connection_impl.cc:660    envoy connection    [C1232] write ready
 
855267Z    trace    external/envoy/source/common/network/connection_impl.cc:551    envoy connection    [C988] socket event: 2
855267Z    trace    external/envoy/source/common/network/connection_impl.cc:660    envoy connection    [C988] write ready
855272 网卡有抓包数据,这里数据已经发到网卡了  GET /ppp HTTP/1.1 
855278Z    trace    external/envoy/source/common/network/raw_buffer_socket.cc:67    envoy connection    [C988] write returns: 299
 
855390 抓包发现这个时间，http 1.1 200 ok 返回数据已经在网卡上面了
855390 - 855272 网卡显示处理时间： 118微妙
 
855390 - 855267 实际时间 123微妙 ，通过网卡统计时间
 
程序延迟处理了： 856829 - 855390 = 1439
中间处理了：
C1242 + C993 + C943 + C1244 + C1236 + C1244 + C1236 + C907 +C992 +  C0 + C1226
856829 - 855278 业务请求时间：1551
 
856829Z    trace    external/envoy/source/common/network/connection_impl.cc:551    envoy connection    [C988] socket event: 3
856831Z    trace    external/envoy/source/common/network/connection_impl.cc:660    envoy connection    [C988] write ready
856832Z    trace    external/envoy/source/common/network/connection_impl.cc:589    envoy connection    [C988] read ready. dispatch_buffered_data=false
856836Z    trace    external/envoy/source/common/network/raw_buffer_socket.cc:24    envoy connection    [C988] read returns: 179
856842Z    trace    external/envoy/source/common/network/raw_buffer_socket.cc:37    envoy connection    [C988] read error: Resource temporarily unavailable
856842Z    trace    external/envoy/source/common/http/http1/codec_impl.cc:564    envoy http    [C988] parsing 179 bytes
856842Z    trace    external/envoy/source/common/http/http1/codec_impl.cc:843    envoy http    [C988] message begin
856852Z    trace    external/envoy/source/common/http/http1/codec_impl.cc:483    envoy http    [C988] completed header: key=X-B3-Traceid value=10b7c3dd2c26c80c723efb80014f4da4
856854Z    trace    external/envoy/source/common/http/http1/codec_impl.cc:483    envoy http    [C988] completed header: key=Date value=Mon, 01 Nov 2021 11:51:55 GMT
856854Z    trace    external/envoy/source/common/http/http1/codec_impl.cc:483    envoy http    [C988] completed header: key=Content-Length value=14
856854Z    trace    external/envoy/source/common/http/http1/codec_impl.cc:694    envoy http    [C988] onHeadersCompleteBase
856855Z    trace    external/envoy/source/common/http/http1/codec_impl.cc:483    envoy http    [C988] completed header: key=Content-Type value=text/plain; charset=utf-8
856857Z    trace    external/envoy/source/common/http/http1/codec_impl.cc:1264    envoy http    [C988] status_code 200
856859Z    trace    external/envoy/source/common/http/http1/codec_impl.cc:1274    envoy http    [C988] Client: onHeadersComplete size=4
856859 - 856829 response解析时间：30微妙
 
请求发送到业务再返回约1.7 ms（856863  - 855180   ）
856863   debug    external/envoy/source/common/router/router.cc:1230    envoy router    [C1232][S3760040057055989506] upstream headers complete: end_stream=false
router void Filter::onUpstreamHeaders 花了11微妙，source/common/router/router.cc ：1228
856874   trace    external/envoy/source/common/http/filter_manager.cc:1099    envoy http    [C1232][S3760040057055989506] encode headers called: filter=0x56081eb4ad90 status=0
 
856894Z    debug    external/envoy/source/common/http/conn_manager_impl.cc:1455    envoy http    [C1232][S3760040057055989506] encoding headers via codec (end_stream=false):
':status', '200'
'x-b3-traceid', '10b7c3dd2c26c80c723efb80014f4da4'
'content-length', '14'
 
29微妙 =856903 - 856874 （encode headers）
856903    trace    external/envoy/source/common/network/connection_impl.cc:474    envoy connection    [C1232] writing 296 bytes, end_stream false
 
856909Z    trace    external/envoy/source/common/http/filter_manager.cc:1267    envoy http    [C1232][S3760040057055989506] encode data called: filter=0x56081eb4ad90 status=0
856909Z    trace    external/envoy/source/common/http/filter_manager.cc:1267    envoy http    [C1232][S3760040057055989506] encode data called: filter=0x56081dfa27e0 status=0
856913Z    trace    external/envoy/source/common/http/filter_manager.cc:1267    envoy http    [C1232][S3760040057055989506] encode data called: filter=0x56081ebdfb20 status=0
856913Z    trace    external/envoy/source/common/http/filter_manager.cc:1267    envoy http    [C1232][S3760040057055989506] encode data called: filter=0x56081eb60a80 status=0
856915Z    trace    external/envoy/source/common/http/filter_manager.cc:1267    envoy http    [C1232][S3760040057055989506] encode data called: filter=0x56081eb615e0 status=0
856916Z    trace    external/envoy/source/common/http/filter_manager.cc:1267    envoy http    [C1232][S3760040057055989506] encode data called: filter=0x56081ec07340 status=0
856916Z    trace    external/envoy/source/common/http/conn_manager_impl.cc:1464    envoy http    [C1232][S3760040057055989506] encoding data via codec (size=14 end_stream=false)
 
16微妙 = 856918- 856903  （encode data）
856918    trace    external/envoy/source/common/network/connection_impl.cc:474    envoy connection    [C1232] writing 14 bytes, end_stream false
 
520微妙=857438 - 856918
857438Z    trace    external/envoy/source/common/http/filter_manager.cc:1267    envoy http    [C1232][S3760040057055989506] encode data called: filter=0x56081eb4ad90 status=0
 
 
857448   trace    external/envoy/source/common/http/filter_manager.cc:1267    envoy http    [C1232][S3760040057055989506] encode data called: filter=0x56081ec07340 status=0
857448 - 856863 = 585微妙， 0.58毫秒
 
859215 - 857448
等待返回客户端花了1.767ms 
 
859215    trace    external/envoy/source/common/network/connection_impl.cc:551    envoy connection    [C1232] socket event: 2
859215    trace    external/envoy/source/common/network/connection_impl.cc:660    envoy connection    [C1232] write ready
859233    trace    external/envoy/source/common/network/raw_buffer_socket.cc:67    envoy connection    [C1232] write returns: 310
 
花费总时间 859233 - 854531 = 4.7ms （[C1232] write returns: 310）-（envoy connection    [C1232] socket event: 3）

 二、outbound + inbound 性能测试

pod1 跟pod2 在k8s 同一node 原因: 

   一：排除网络干扰

   二：不同机器时间戳可能会不同（差几毫秒）

压测工具： ab 

​
测试场景是一个典型的 outbound + inbound 请求： 

具体测试数据（长连接，带body）：

大部分业务配置1核即可， 广告业务等qps 高的需要配置2核

默认都使用1核，特殊的可以考虑通过namespace 或者打 label的方式来设置2核

1核（envoy 配置）：

outbound + inbound 性能测试 1核 request body : 1K response body :1K  （qps 2000）

outbound + inbound 性能测试 1核 request body : 1K response body :4K  （qps 2000）

outbound + inbound 性能测试 1核 request body : 1K response body :8K （qps 1900）

outbound + inbound 性能测试 1核 request body : 1K response body :500K （qps 900） （满足导购qps需求，大body 模仿导购）

2核（envoy 配置）：

outbound + inbound 性能测试 2核 request body : 1K response body :1K （qps 3700）

outbound + inbound 性能测试 2核 request body : 1K response body :2K （qps 3700） （满足广告业务qps需求）

outbound + inbound 性能测试 2核 request body : 1K response body :8K （qps 3600）

具体测试数据（长连接，不带body）：

   单条请求分析： outbound + inbound 请求耗时分析详细

1核：outbound + inbound 性能测试 1核  （qps ： 2200+）

2核：outbound + inbound 性能测试 2核  （qps ： 4000+） 

3核：outbound + inbound 性能测试 3核  （qps ： 6000+） 

4核：outbound + inbound 性能测试 4核  （qps ： 7300+） 

5核：outbound + inbound 性能测试 5核  （qps ： 8600+） 

6核：outbound + inbound 性能测试 6核  （qps ： 9200+）

8核：outbound + inbound 性能测试 8核  （qps ： 10000+）

在pod1 内部使用ab 压测pod2 的服务，pod1 与pod2 均有envoy sidecar 

pod1 与pod2 均在 测试环境 k8s 的test20wks.tsht3.mc.ops 节点上

​

通过EnvoyFilter配置：    inbound 负载均衡 

默认情况下， 多个worker 之间不会做负载均衡，完全靠系统来分配，长连接场景下配置负载均衡，时间数据抖动会小一些

apiVersion: networking.istio.io/v1alpha3
kind: EnvoyFilter
metadata:
  name:  go-server-6-all-listener-balance
  namespace: zhaozhiyuan
spec:
  configPatches:
    - applyTo: LISTENER
      match:
        context: SIDECAR_INBOUND
        listener:
          portNumber: 15006
      patch:
        operation: MERGE
        value:
          connection_balance_config:
            exact_balance: {}

1.outbound + inbound 性能测试 1核 request body : 1K response body :1K

测试url： http://go-server-6-one-cpu-body-change.zhaozhiyuan.svc.cluster.local/

request body : 1K

response body :1K

测试命令：

./ab -n 10000 -c 1  -k -p ./1024  -H "Resp_size: 1024" http://go-server-6-one-cpu-body-change.zhaozhiyuan.svc.cluster.local/

Resp_size 调整response body 大小为1K

2.outbound + inbound 性能测试 1核 request body : 1K response body :4K

测试url： http://go-server-6-one-cpu-body-change.zhaozhiyuan.svc.cluster.local/

测试命令：

./ab -n 10000 -c 1  -k -p ./1024  -H "Resp_size: 4096" http://go-server-6-one-cpu-body-change.zhaozhiyuan.svc.cluster.local/

Resp_size 调整response body 大小为4K

3.outbound + inbound 性能测试 1核 request body : 1K response body :500K

测试url： http://go-server-6-one-cpu.zhaozhiyuan.svc.cluster.local/

./ab -n 10000 -c 1  -k -p ./1024  -H "Resp_size: 512000" http://go-server-6-one-cpu-body-change.zhaozhiyuan.svc.cluster.local/

Resp_size 调整response body 大小为500K

模拟导购业务: 

request body : 1K

response body :500K

4. outbound + inbound 性能测试 2核 request body : 1K response body :8K

测试url： http://go-server-6-two-cpu-body-change.zhaozhiyuan.svc.cluster.local/

request body : 1K

response body :8K

测试命令：

./ab -n 10000 -c 1  -k -p ./1024  -H "Resp_size: 8192" http://go-server-6-two-cpu-body-change.zhaozhiyuan.svc.cluster.local/

Resp_size 调整response body 大小为8K

三、性能洞察

1.cpu性能洞察

我在istio生产环境对 istio-proxy使用perf 进行洞察分析

至于perf 如何用还有如何生成火焰图自己去网上查吧。不细说了

#1.按照 perf
sudo apt update
sudo apt install linux-tools-common
wget http://launchpadlibrarian.net/145025421/linux-tools-3.10.0-3_3.10.0-3.12_amd64.deb
dokg -i linux-tools-3.10.0-3_3.10.0-3.12_amd64.deb
perf record -p 71965 -a -g
perf script -i perf.data &> perf.unfold
stackcollapse-perf.pl perf.data > out.folded
flamegraph.pl out.folded > perf.svg

洞察结果，性能瓶颈：

 火焰图详细地址：

perf(3).svg-Linux文档类资源-CSDN下载

2.锁性能洞察

由于perf 追踪锁部分耗时，需要重新编译内核很不方便，所以这一部分暂时没有做处理

四、洞察结论

envoy cpu 负担很大，我从perf里得到了下面的结论

1.envoy 采用的是http_parser库，这个库官方已经不维护了，修改为llhttp库会提升http解析的效率，为cpu减少负

2.istio-proxy 默认的 zipkin + HTTP_JSON在并发很大的时候，会给cpu很大的负担

3.istio-proxy通过wasm 插件给envoy带来了很大的负担，metrics部分也加大了cpu的负担

五、排除法论证结论

1.istio默认环境下压测istio-proxy

之前istio云原生的默认配置下进行压测

普罗米修斯压测情况：

延迟压测结果分析图：

发现性能很差

2.当我们关闭zipkin tracing 再看性能：

 性能打到了5500，比之前2000 提升了 250%

3.性能250%意味着给公司带来了什么

之前一个sidecar 容器需要2核，现在只需要1核，如果部署10000个pod，只需要10000核，而不需要20000核，可以给公司降低成本

六、解决方案结论，以及未来展望

我认为良好的解决方式

1.envoy支持多种tracing，zipkin、lightstep、datadog、stackdriver、skywalking、jaeger，我认为jaeger的原生tracing 性能最好，jaeger 的 thrift 协议 是 facebook的二进制协议，性能可以跟protobuf匹敌,网络传输方式上用的udp，也会比其他协议的tcp开销小很多，毕竟tracing 不需要那么完全可靠

2.降低tracing 采样率，不要使用100%采样

3.替换envoy http协议1的解析库，因为我们公司内部大范围使用的是http1,放弃http_parser库，采用llhttp

https://github.com/nodejs/http-parser

llhttp地址：

https://github.com/nodejs/llhttp

4.wasm metrics cpu 占用也很高，逐步降低cpu消耗，优化c++代码，如果是同步统计，改为异步，优化性能

5.想办法统计出内核锁的耗时，对加锁代码进行优化，减少临界区

七、性能好了意味着有什么用

尤其是做中间件，是一个公司核心，节约内存核cpu使用是基本素养，如果一个3000 qps的项目需要一个2核的机器，会给公司造成很大的开销

做技术一定要有极客精神，每一行代码，每一次内存拷贝，每一次io都是要讲良心的，必须要对自己写的程序负责，做最优质的程序