devbox
黑客灵魂
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

开源模型应用落地-FastAPI-助力模型交互-进阶篇（一）

作者：黑客灵魂 | 2024-07-13 10:40:44

赞

踩

开源模型应用落地-FastAPI-助力模型交互-进阶篇（一）

一、前言

   FastAPI 的高级用法可以为开发人员带来许多好处。它能帮助实现更复杂的路由逻辑和参数处理，使应用程序能够处理各种不同的请求场景，提高应用程序的灵活性和可扩展性。

    在数据验证和转换方面，高级用法提供了更精细和准确的控制，确保输入数据的质量和安全性。它还能更高效地处理异步操作，提升应用程序的性能和响应速度，特别是在处理大量并发请求时优势明显。

    此外，高级用法还有助于更好地整合数据库操作、实现数据的持久化和查询优化，以及实现更严格的认证和授权机制，保护应用程序的敏感数据和功能。总之,掌握 FastAPI 的高级用法可以帮助开发人员构建出功能更强大、性能更卓越、安全可靠的 Web 应用程序。

    本篇学习FastAPI的生命周期事件，示例均在开源模型应用落地-FastAPI-助力模型交互-WebSocket篇（二）基础上进行扩展，建议有需要的老铁们，先去学习。

二、术语

2.1. Lifespan Events（生命周期事件）

    通过生命周期事件，可以更好地管理应用的整个生命周期中的资源和操作，确保资源的正确初始化和释放，提高应用的性能、可靠性和可维护性。

    Lifespan Events主要有以下作用：

  1. 资源初始化与释放：可以在应用启动时执行一些初始化操作，例如创建数据库连接池、加载共享的机器学习模型等需要在整个应用中使用且可在请求间共享的资源。在应用关闭时，执行清理和释放资源的操作，例如关闭数据库连接、释放内存或其他相关资源。
  2. 避免不必要的操作：如果某些资源的初始化成本较高（如加载大型模型），使用 Lifespan Events 可以避免在每次请求时都进行初始化，仅在应用启动后且接收请求之前执行一次。同时，也可以防止在一些不需要处理实际请求的情况下（如运行简单的自动化测试）进行不必要的资源加载，从而提高性能和效率。
  3. 分离启动和关闭逻辑：将与应用启动和关闭相关的逻辑集中在一个地方进行管理，使代码更加清晰和可维护。
     

三、前置条件

3.1. 创建虚拟环境&安装依赖

  增加Google Search以及langchainhub的依赖包

  1. conda create -n fastapi_test python=3.10
  2. conda activate fastapi_test
  3. pip install fastapi websockets uvicorn transformers==4.32.0 accelerate tiktoken einops transformers_stream_generator==0.0.4 scipy
  4.  
  5.

3.2. 下载Qwen-1_8B-Chat模型

huggingface：

https://huggingface.co/Qwen/Qwen-1_8B-Chaticon-default.png?t=N7T8https://huggingface.co/Qwen/Qwen-1_8B-Chat

​魔搭：

魔搭社区汇聚各领域最先进的机器学习模型，提供模型探索体验、推理、训练、部署和应用的一站式服务。icon-default.png?t=N7T8https://modelscope.cn/models/qwen/Qwen-1_8B-Chat

四、技术实现

4.1. startup & shutdown event

  1. # -*- coding: utf-8 -*-
  2. import traceback
  3.  
  4. from transformers import AutoTokenizer, AutoModelForCausalLM
  5. from transformers import GenerationConfig
  6.  
  7. import torch
  8. import uvicorn
  9.  
  10. from typing import Annotated
  11. from fastapi import (
  12.     Depends,
  13.     FastAPI,
  14.     WebSocket,
  15.     WebSocketException,
  16.     WebSocketDisconnect,
  17.     status,
  18. )
  19.  
  20.  
  21. model_path = "E:/model/qwen-1_8b-chat"
  22.  
  23. class ConnectionManager:
  24.     def __init__(self):
  25.         self.active_connections: list[WebSocket] = []
  26.  
  27.     async def connect(self, websocket: WebSocket):
  28.         await websocket.accept()
  29.         self.active_connections.append(websocket)
  30.  
  31.     def disconnect(self, websocket: WebSocket):
  32.         self.active_connections.remove(websocket)
  33.  
  34.     async def send_personal_message(self, message: str, websocket: WebSocket):
  35.         await websocket.send_text(message)
  36.  
  37.     async def broadcast(self, message: str):
  38.         for connection in self.active_connections:
  39.             await connection.send_text(message)
  40.  
  41. manager = ConnectionManager()
  42.  
  43. app = FastAPI()
  44.  
  45. async def authenticate(
  46.     websocket: WebSocket,
  47.     userid: str,
  48.     secret: str,
  49. ):
  50.     if userid is None or secret is None:
  51.         raise WebSocketException(code=status.WS_1008_POLICY_VIOLATION)
  52.  
  53.     print(f'userid: {userid},secret: {secret}')
  54.     if '12345' == userid and 'xxxxxxxxxxxxxxxxxxxxxxxxxx' == secret:
  55.         return 'pass'
  56.     else:
  57.         return 'fail'
  58.  
  59. async def chat(query):
  60.     position = 0
  61.     try:
  62.         for response in model.chat_stream(tokenizer, query, history = None):
  63.             result = response[position:]
  64.             position = len(response)
  65.             yield result
  66.  
  67.     except Exception:
  68.         traceback.print_exc()
  69.  
  70. @app.websocket("/ws")
  71. async def websocket_endpoint(*,websocket: WebSocket,userid: str,permission: Annotated[str, Depends(authenticate)],):
  72.     await manager.connect(websocket)
  73.     try:
  74.         while True:
  75.             text = await websocket.receive_text()
  76.  
  77.             if 'fail' == permission:
  78.                 await manager.send_personal_message(
  79.                     f"authentication failed", websocket
  80.                 )
  81.             else:
  82.                 if text is not None and len(text) > 0:
  83.                     async for msg in chat(text):
  84.                         await manager.send_personal_message(msg, websocket)
  85.  
  86.     except WebSocketDisconnect:
  87.         manager.disconnect(websocket)
  88.         print(f"Client #{userid} left the chat")
  89.         await manager.broadcast(f"Client #{userid} left the chat")
  90.  
  91.  
  92. def loadTokenizer():
  93.     tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
  94.     return tokenizer
  95.  
  96. def loadModel(config):
  97.     model = AutoModelForCausalLM.from_pretrained(model_path, device_map="cpu", trust_remote_code=True).eval()
  98.     model.generation_config = config
  99.     return model
  100.  
  101. @app.on_event("startup")
  102. async def startup_event():
  103.     global model,tokenizer
  104.     config = GenerationConfig.from_pretrained(model_path, trust_remote_code=True, top_p=0.9, temperature=0.45,repetition_penalty=1.1, do_sample=True, max_new_tokens=8192)
  105.     tokenizer = loadTokenizer()
  106.     model = loadModel(config)
  107.  
  108. @app.on_event("shutdown")
  109. def shutdown_event():
  110.     torch.cuda.empty_cache()
  111.  
  112. if __name__ == '__main__':
  113.     uvicorn.run(app, host='0.0.0.0',port=7777)

调用结果：

用户输入：你好

模型输出：你好！有什么我能帮助你的吗？

说明：

  1. 在startup事件函数中加载模型资源
  2. 在shutdown时间函数中释放资源
  3. startup & shutdown event已过期，后面可能会被移除，建议使用lifespan event代替

4.2. lifespan event

  1. import traceback
  2. from contextlib import asynccontextmanager
  3.  
  4. from transformers import AutoTokenizer, AutoModelForCausalLM
  5. from transformers import GenerationConfig
  6.  
  7. import torch
  8. import uvicorn
  9.  
  10. from typing import Annotated
  11. from fastapi import (
  12.     Depends,
  13.     FastAPI,
  14.     WebSocket,
  15.     WebSocketException,
  16.     WebSocketDisconnect,
  17.     status,
  18. )
  19.  
  20.  
  21. model_path = "E:/model/qwen-1_8b-chat"
  22.  
  23. class ConnectionManager:
  24.     def __init__(self):
  25.         self.active_connections: list[WebSocket] = []
  26.  
  27.     async def connect(self, websocket: WebSocket):
  28.         await websocket.accept()
  29.         self.active_connections.append(websocket)
  30.  
  31.     def disconnect(self, websocket: WebSocket):
  32.         self.active_connections.remove(websocket)
  33.  
  34.     async def send_personal_message(self, message: str, websocket: WebSocket):
  35.         await websocket.send_text(message)
  36.  
  37.     async def broadcast(self, message: str):
  38.         for connection in self.active_connections:
  39.             await connection.send_text(message)
  40.  
  41. manager = ConnectionManager()
  42.  
  43.  
  44. def loadTokenizer():
  45.     tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
  46.     return tokenizer
  47.  
  48.  
  49. def loadModel(config):
  50.     model = AutoModelForCausalLM.from_pretrained(model_path, device_map="cpu", trust_remote_code=True).eval()
  51.     model.generation_config = config
  52.     return model
  53.  
  54.  
  55. @asynccontextmanager
  56. async def lifespan(app: FastAPI):
  57.     # 加载模型
  58.     global model, tokenizer
  59.     config = GenerationConfig.from_pretrained(model_path, trust_remote_code=True, top_p=0.9, temperature=0.45,
  60.                                               repetition_penalty=1.1, do_sample=True, max_new_tokens=8192)
  61.     tokenizer = loadTokenizer()
  62.     model = loadModel(config)
  63.     yield
  64.     # 释放资源
  65.     torch.cuda.empty_cache()
  66.  
  67.  
  68.  
  69. app = FastAPI(lifespan=lifespan)
  70.  
  71. async def authenticate(
  72.     websocket: WebSocket,
  73.     userid: str,
  74.     secret: str,
  75. ):
  76.     if userid is None or secret is None:
  77.         raise WebSocketException(code=status.WS_1008_POLICY_VIOLATION)
  78.  
  79.     print(f'userid: {userid},secret: {secret}')
  80.     if '12345' == userid and 'xxxxxxxxxxxxxxxxxxxxxxxxxx' == secret:
  81.         return 'pass'
  82.     else:
  83.         return 'fail'
  84.  
  85. async def chat(query):
  86.     position = 0
  87.     try:
  88.         for response in model.chat_stream(tokenizer, query, history = None):
  89.             result = response[position:]
  90.             position = len(response)
  91.             yield result
  92.  
  93.     except Exception:
  94.         traceback.print_exc()
  95.  
  96. @app.websocket("/ws")
  97. async def websocket_endpoint(*,websocket: WebSocket,userid: str,permission: Annotated[str, Depends(authenticate)],):
  98.     await manager.connect(websocket)
  99.     try:
  100.         while True:
  101.             text = await websocket.receive_text()
  102.  
  103.             if 'fail' == permission:
  104.                 await manager.send_personal_message(
  105.                     f"authentication failed", websocket
  106.                 )
  107.             else:
  108.                 if text is not None and len(text) > 0:
  109.                     async for msg in chat(text):
  110.                         await manager.send_personal_message(msg, websocket)
  111.  
  112.     except WebSocketDisconnect:
  113.         manager.disconnect(websocket)
  114.         print(f"Client #{userid} left the chat")
  115.         await manager.broadcast(f"Client #{userid} left the chat")
  116.  
  117.  
  118. if __name__ == '__main__':
  119.     uvicorn.run(app, host='0.0.0.0',port=7777)

调用结果：

没有输出警告信息

用户输入：你好，广州有什么好玩的地方推荐？

模型输出：广州有很多值得一去的景点，比如白云山、长隆野生动物园、陈家祠、珠江夜游等。此外，你还可以去逛逛上下九步行街，品尝当地的美食，或者参观广州塔等高楼大厦。

五、附带说明

5.1. 测试界面

  1. <!DOCTYPE html>
  2. <html>
  3.     <head>
  4.         <title>Chat</title>
  5.     </head>
  6.     <body>
  7.         <h1>WebSocket Chat</h1>
  8.         <form action="" onsubmit="sendMessage(event)">
  9.             <label>USERID: <input type="text" id="userid" autocomplete="off" value="12345"/></label>
  10.             <label>SECRET: <input type="text" id="secret" autocomplete="off" value="xxxxxxxxxxxxxxxxxxxxxxxxxx"/></label>
  11.             <br/>
  12.             <button onclick="connect(event)">Connect</button>
  13.             <hr>
  14.             <label>Message: <input type="text" id="messageText" autocomplete="off"/></label>
  15.             <button>Send</button>
  16.         </form>
  17.         <ul id='messages'>
  18.         </ul>
  19.         <script>
  20.             var ws = null;
  21.             function connect(event) {
  22.                 var userid = document.getElementById("userid")
  23.                 var secret = document.getElementById("secret")
  24.                 ws = new WebSocket("ws://localhost:7777/ws?userid="+userid.value+"&secret=" + secret.value);
  25.                 ws.onmessage = function(event) {
  26.                     var messages = document.getElementById('messages')
  27.                     var message = document.createElement('li')
  28.                     var content = document.createTextNode(event.data)
  29.                     message.appendChild(content)
  30.                     messages.appendChild(message)
  31.                 };
  32.                 event.preventDefault()
  33.             }
  34.             function sendMessage(event) {
  35.                 var input = document.getElementById("messageText")
  36.                 ws.send(input.value)
  37.                 input.value = ''
  38.                 event.preventDefault()
  39.             }
  40.         </script>
  41.     </body>
  42. </html>

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/黑客灵魂/article/detail/819058
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号