开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（四）_vllm部署qwen推理结果断掉了

一、前言

    经过前面三篇的实施，相信你已经顺利完成了AI服务的功能性需求。现在，我们进入了考虑非功能性需求的阶段。作为一个公共服务，安全性是至关重要的。通过对安全性进行设计，我们可以提升软件对潜在威胁和安全漏洞的防护能力，确保用户数据和系统的安全。

二、术语

2.1、限流

        是一种用于控制系统访问速率的技术手段。在计算机网络中，限流用于限制对某个资源或服务的并发访问数量，以防止系统被过多的请求压垮或拖慢响应速度。限流可以帮助维持系统的稳定性、可用性和安全性。

限流的目的是防止系统过载，确保系统能够处理请求并提供可接受的性能。如果系统没有限制并发访问的数量，可能会导致资源耗尽、响应时间延长、系统崩溃或服务不可用的情况。

2.2、鉴权（Authentication）

        是指确认用户身份的过程，以确保用户具有访问系统或资源的权限。在计算机领域，鉴权是一种安全机制，用于验证用户的身份，并授予其相应的权限和访问权限。

2.3、SHA-256（Secure Hash Algorithm 256-bit）

        是一种加密散列函数，它属于SHA-2（Secure Hash Algorithm 2）系列的一部分。SHA-256接受任意长度的输入，将其转换为固定长度的256位（32字节）哈希值。SHA-256是一种单向哈希函数，意味着无法从哈希值还原出原始输入数据。

2.4、Flask-Limiter