解决一个偶现的503 bug,花了俺不少时间_err_http_invalid_header_value

概述

在3月2日晚上，大概8点左右，本想打道回府，回家休息，突然被人在bug群@了一下，说是管理后台，访问不了，界面上出现了:

503 service temporarily unavailable
复制代码

我赶紧尝试访问了一下，确实如此，但不是每次都不行，而是偶发503的错误提示。当时我是没有立刻动手去定位问题，而是先拉了一个临时处理群，这样做的原因是：

• 先将线上出故障了这件事情同步出去，要让相关的人知道，像运维、测试、你的上级、产品等；
• 一定是先止损，优先【线下去处理故障】，而不是【直接在线上处理故障】；

群拉完后，我简单同步现象后，就开始分析了，首先想的第一点就是：

是不是因为做了线上变更导致的，比如有发版之类的。

从这个点切入去想的原因是源于自己处理线上故障的经验，大部分都是发版导致的，能回滚的优先回滚，第一时间降低影响。因此我打开了发版日历（技术团队是有维护一个发版日历的，记录了每次发版或者变更的内容），发现3月2号当天，在线上做了如下两件事情：

• 部分服务接入了阿里云WAF，这个是因为安全原因，需要接入；
• 管理后台对应的前后端服务，确实也发版了；

火速电话公司的安全专家，先临时关闭WAF，但关闭后没有用，访问管理后台还是一直出现503提示，没办法了，得立刻回滚当天上线的内容，正当运维要操作回滚的时候，我反而制止了它。因为：

管理后台突然又能访问了。