devbox
我家自动化
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

通义千问qwen14b app端demo_千问模型demo

作者：我家自动化 | 2024-06-09 23:17:54

赞

踩

千问模型demo

 这个demo模型来是基于魔搭平台搭建

可能需要安装modelscope==1.9.1左右版本

  1. import os
  2. os.system('pip install tiktoken')
  3. os.system('pip install transformers_stream_generator')
  4.  
  5. import gradio as gr
  6. from modelscope.pipelines import pipeline
  7. from modelscope.utils.constant import Tasks
  8. from modelscope import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
  9. import torch
  10. # os.environ['CUDA_VISIBLE_DEVICES'] = '0,1'
  11.  
  12. def clear_session():
  13.     return '', None
  14.  
  15.  
  16. from modelscope import AutoModelForCausalLM, AutoTokenizer, snapshot_download
  17. from modelscope import GenerationConfig
  18.  
  19. model_dir = snapshot_download('qwen/Qwen-14B-Chat', revision='v1.0.4')
  20.  
  21. tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True, revision='v1.0.4')
  22.  
  23. model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True,torch_dtype=torch.bfloat16, revision='v1.0.4').eval()
  24.  
  25. model.generation_config = GenerationConfig.from_pretrained(model_dir, trust_remote_code=True) # 可指定不同的生成长度、top_p等相关超参
  26. model.generation_config.top_p = 0.8
  27. model.generation_config.repetition_penalty = 1.1
  28.  
  29.  
  30. def generate_chat(input: str, history = None):
  31.     if input is None:
  32.         input = ''
  33.     if history is None:
  34.         history = []
  35.     history = history[-5:]
  36.     gen = model.chat_stream(tokenizer, input, history=history)
  37.     for x in gen:
  38.         history.append((input, x))
  39.         yield None, history
  40.         history.pop()
  41.     history.append((input, x))
  42.     return None, history
  43.  
  44. block = gr.Blocks()
  45. with block as demo:
  46.     gr.Markdown("""<p align="center"><img src="https://modelscope.cn/api/v1/models/qwen/Qwen-VL-Chat/repo?Revision=master&FilePath=assets/logo.jpg&View=true" style="height: 80px"/><p>""")
  47.     gr.Markdown("""<center><font size=8>Qwen-14B-Chat Bot
    声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/696187
    推荐阅读
    相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。