使用InternStudio 进行Llama 3 Agent 能力体验+微调（Lagent 版）_llama3 agent

说明: 本博客是InternStudio学习的部分记录贴

教程链接为:Llama3-Tutorial/README.md at main · SmartFlowAI/Llama3-Tutorial · GitHub

第一节:Llama 3 本地 Web Demo 部署

执行命令

streamlit run ~/Llama3-Tutorial/tools/internstudio_quant_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

选择下方栏里的post, 打开对应的port为8015的farwarded链接

等待一定时间后, 即可(这个期间,确保有足够的算力,否则会启动失败)

第二节:Llama 3 微调个人小助手认知（XTuner 版）

在根据文档教程后,执行最后一部代码启动微调后的模型:

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  /root/llama3_hf_merged

发现这个微调后, 机器人重复回答, 可以参考下方链接进一步进行微调方面的调整大模型怎么搞？一个案例教会你从数据准备到微调验证！ (qq.com)

第四节 Llama 3 高效部署实践（LMDeploy 版）

在根据文档教程后,执行最后一部代码启动微调后的模型:

即可进行终端对模型进行对话

这一部分,之前实现了,但复现时由于算力问题, 迟迟没有复现