LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践_多模态大模型推理

LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践

1.多模态大模型推理

LLM 的推理流程：

多模态的 LLM 的原理：

代码演示：使用 ModelScope NoteBook 完成语言大模型，视觉大模型，音频大模型的推理

环境配置与安装

以下主要演示的模型推理代码可在魔搭社区免费实例 PAI-DSW 的配置下运行（显存 24G） ：

1. 点击模型右侧 Notebook 快速开发按钮，选择 GPU 环境：
2. 打开 Python 3 (ipykernel)：

• 示例代码语言大模型推理示例代码

#通义千问1_8B LLM大模型的推理代码示例
#通义千问1_8B:https://modelscope.cn/models/qwen/Qwen-1_8B-Chat/summary
from modelscope import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

#Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained("Qwen/Q
1
2
3
4
5