开源模型应用落地-Yi模型小试-Yi-1.5-9B-Chat-16K集成vLLM-入门篇（三）_vllm yi-9b

一、前言

     Yi 开源模型是由零一万物公司发布的一系列自然语言和多模态模型。2024年5月13日，零一万物发布了最新的 Yi-1.5系列开源模型，开源了6B/9B/34B的 base 版和 chat 版模型，并第一时间发布在ModelScope、huggingface、 wisemodel 等 AI 开源社区平台。

二、术语

2.1. vLLM

    vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。

2.2. Yi-1.5-9B-Chat & Yi-1.5-9B-Chat-16k

    Yi-1.5-9B-Chat和Yi-1.5-9B-Chat-16K都是零一万物公司发布的Yi-1.5系列开源模型中的聊天模型，它们在功能和性能上可能没有差异，但在上下文长度上有区别。

    Yi-1.5-9B-Chat的上下文长度是4K，Yi-1.5-9B-Chat-16K的上下文长度是16K。更长的上下文长度可以让模型在处理文本时考虑更多的前文信息，从而生成更连贯、合理的回答。

三、前提条件 

3.1. 基础环境及前置条件

1.  操作系统：centos7
2.  Tesla V100-SXM2-32GB  CUDA Version: 12.2
3.  提前下载好01-ai/Yi-1.5-9B-Chat-16K

          通过以下两个地址进行下载，优先推荐魔搭

 从hug