热门标签
热门文章
- 1MySQL之索引及其背后的数据结构_索引mysql的索引是使用的什么数据结构,非主键的索引都存储的那些数据是怎么使用的
- 2Linux中安装一个&多个JDK_linux安装多个jdk
- 3使用微信开发者工具模拟微信小程序定位_微信小程序定位修改位置
- 4从盆满钵满处跌落之后，基于场景的嵌入式计算是国产MCU等芯片的突围方向吗？
- 5【面试准备】安全运维_配置各类安全设施,包括防火墙规则配置、权限管理、访问管理等面试云计算运维
- 6Linux配置双网关_linux双网关
- 7深入理解java虚拟机类加载机制，通俗易懂_类加载器 通俗
- 8Ubuntu安装Python2或Python3多版本_2to3 python2-minimal:i386 python2:i386 python2-min
- 9YOLOV8的tensorrt部署详解(目标检测模型-cpp)_yolov8 tesorrt
- 10生成式人工智能的往昔与当下，走进 Generative AI 的启蒙第一课
当前位置: article > 正文
RAG部署 | 使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG_llm rag系统搭建 windows
作者：爱喝兽奶帝天荒 | 2024-08-21 04:49:58
赞
踩
llm rag系统搭建 windows
- 项目应用场景
-
- 面向 Windows 平台部署 RAG 检索增强生成聊天机器人场景，项目采用 TensorRT-LLM 进行 GPU 加速推理，注意项目需要 RT4090 及以上的英伟达显卡支持。
- 项目效果
- 项目细节 ==> 具体参见项目
README.md
-
- (1) 下载构建好的 Llama2 TensorRT 模型到指定文件夹，具体见
README - (2) 安装依赖
- (1) 下载构建好的 Llama2 TensorRT 模型到指定文件夹，具体见
pip install -r requirements.txt-
- (3) 执行程序
python app.py --trt_engine_path <TRT Engine folder> --trt_engine_name <TRT Engine file>.engine --tokenizer_dir_path <tokernizer folder> --data_dir <Data folder>- 项目获取
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/1010067
推荐阅读
相关标签
