使用搭载骁龙 8 Gen 3 的安卓手机运行 AI 大模型_gemma-2b需要什么配置

本篇文章聊聊，在 Android 手机上简单运行 AI 大模型的方法，来体验英文语言模型（Llama2 7B、Mistral 7B、RedPajama 3B、Google Gemma 2B、Microsoft PHI 2B）；中文语言模型（面壁 MiniCPM、多模态模型）；Stable Diffusion。

写在前面

从去年下半年开始，各种手机和芯片厂商都开始宣称自己的产品能够本地运行大模型。

但是直到前几天，高通才正式在 HuggingFace 上传了“高通版本”的 Stable Diffusion。而目前一众厂商，有一个是一个，都还在“内测或内测审核”，给本来清清楚楚简简单单的模型运行，遮上了一层厚厚的纱。

不过，这里有一点限制，如果你是来自中国的开发者，在申请使用高通 SDK 的时候，需要通过额外的 “DPLCheck”，确保你不是“实体清单”从业人员。所以更“原生的测试”，我会在后面的文章再聊，本篇文章就聊聊轻松一些的玩法吧。

因为国内购买到的大多数手机，目前在手机解锁（更换更方便的操作系统）和获取 Root 权限（完善模型原生运行环境）方面都有比较多的限制。

所以，本文先介绍两种不需要解除 BL 锁换操作系统，不需要获取 Root 权限的方案。

准备工作

准备工作主要包含两部分：模型应用程序，和运行模型的设备（手机）。

模型应用程序

我们在不进行相对麻烦的 Android 准备环境改变的前提下，可以借助下面三个开源项目，来体验英文语言模型（Llama2 7B、Mistral 7B、RedPajama 3B、Google Gemma 2B、Microsoft PHI 2B）；中文语言模型（面壁 MiniCPM、多模态模型）；Stable Diffusion。

• mlc-ai/mlc-llm（支持运行英文模型）
  • 使用介绍：https://llm.mlc.ai/docs/deploy/android.html
  • 程序下载：https://github.com/mlc-ai/binary-mlc-llm-libs/releases/download/Android/mlc-chat.apk
• OpenBMB/mlc-MiniCPM （支持运行中文模型）
  • 项目 fork 自上面的开源项目，使用方式一致。
  • 程序下载：程序还在迭代，去面壁模型交流群里伸手吧
    声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/219874?site