LLMs之LLaMA-2：基于云端进行一键部署对LLaMA2模型实现推理(基于text-generation-webui)执行对话聊天问答任务、采用LoRA微调LLaMA-2-7B模型(配置云端环境【_vllm 跑 llama2推理

作者：盐析白兔 | 2024-05-17 22:24:10

踩

vllm 跑 llama2推理

LLMs之LLaMA-2：基于云端进行一键部署对LLaMA2模型实现推理(基于text-generation-webui)执行对话聊天问答任务、采用LoRA微调LLaMA-2-7B模型(配置云端环境【A100】→下载数据集(采用novel17_test对话数据集(Human-Assistant格式))→加载模型【transformers】→分词→模型训练【peft+SFTTrainer+wandb】→基于HuggingFace实现云端分享)之图文教程详细攻略

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/585482