devbox
我家小花儿
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Mac(M1Pro)下运行ChatGLM2_mac m1pro部署chatglm2

作者：我家小花儿 | 2024-03-16 19:21:12

赞

踩

mac m1pro部署chatglm2

      最近很多人都尝试在M1/M2芯片下跑chatglm/chatglm2，结果都不太理想，或者是说要32G内存才可以运行。本文使用cpu基于chatglm-cpp运行chatglm2的int4版本。开了多个网页及应用的情况下（包括chatglm2)，总体内存占用9G左右。chatglm2可以流畅的运行了。虚拟环境为python 3.10，使用conda 创建。

 

 具体部署过程如下：

1.安装brew，主要需要安装core及cask

/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

2.添加git配置

  1. git config --global --add safe.directory /opt/homebrew/Library/Taps/homebrew/homebrew-core
  2.  
  3. git config --global --add safe.directory /opt/homebrew/Library/Taps/homebrew/homebrew-cask

3. 安装cmake

brew install cmake

4. 下载chatglm-cpp

git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp

5. 转换chatglm2模型（模型下载THUDM/chatglm2-6b at main，依赖安装）                

  1.  
  2. python3 convert.py -i THUDM/chatglm2-6b -t q4_0 -o chatglm2-ggml.bin

6. build main

  1. cmake -B build
  2. cmake --build build -j

7. 命令行调用

  1. ./build/bin/main -m chatglm2-ggml.bin -p 你好 --top_p 0.8 --temp 0.8    # ChatGLM2-6B
  2. # 你好
    声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/251549
    推荐阅读
    相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。