LMDeploy 量化部署 LLM-VLM 实践(InternLM 实战营第五次笔记)

一、大模型部署的背景

        模型部署就是把已经训练好的模型放在特定的环境中进行运行的过程。

大模型部署的面临的挑战

1、计算量巨大

2、内存开销巨大

3、访问瓶颈和动态请求

二、大模型部署的方法

1、模型剪枝

        通过一些特定的策略对模型中贡献有限的冗余参数进行剪枝，通过减少工作量，在保证模型最低效用的同时减少存储的需求来提高计算的效率。

2、知识蒸馏

        通过先去训练一个大模型作为教师网络，在用这个教师网络去训练一个参数量比较小的学生网络做知识牵引，从而降低学习的难度。

3、量化

        核心想法是把浮点数转换为整数或者其他离散的形式。

三、LMDeploy简介

        LMDeploy是涵盖了大模型任务的全套轻量化、部署和服务解决方案，核心功能包括高效推理、可靠量化、便捷服务和状态推理。

LMDeploy核心功能

    LMDeploy核心功能包括：模型量化推理、模型量化压缩和服务化部署。

LMDeploy性能表现

LMDeploy更多支持模型