基于Mlc-llm端侧部署大模型

作者：煮酒与君饮 | 2024-07-29 15:36:55

踩

基于Mlc-llm端侧部署大模型

Mlc-llm是高性能的模型部署框架，支持在电脑、手机上运行大模型，使用这个平台可以轻松将主流的qwen、llama、phi等大模型部署到手机上。

我的需求是在安卓上运行大模型，因此需要配置SDK、NDK等东西，需要有一定的基础：

这个框架其实还是比较麻烦配置的，这里强烈推荐按照官方文档走：Android SDK — mlc-llm 0.1.0 documentation

我实在Windows环境下配置的，如果有Linux系统需求，推荐MLC-LLM框架的安卓应用部署实战_mlc llm-CSDN博客。

1、下载模型；

2、编译需要的模型，将模型按层进行切割并生成运算单元；

3、交叉编译成apk文件；

4、加载模型文件做推理。

我使用的是2019年的安卓手机，运行效率如下：

笔者的手机性能较差，测试结果可能不太好，有过有高性能的手机可以测试看看效果，欢迎在评论区反馈一下。

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/煮酒与君饮/article/detail/899465