手撸私有AI大模型——开发环境搭建miniconda_私有大模型搭建

私有AI大模型开发准备工作：

1. 编程语言 python、javascript

2. 算法库可以直接利用现有的python库，没必要再自己造轮子了现成的轮子

3. 搭建UI界面，搭建web服务接口

4. 基础大模型

5. 定制数据集

目录

1. 下载miniconda

2. 安装miniconda

3. 运行conda

3.1 查看conda版本

 3.2 查看conda 信息包括安装路径

3.3 创建一个虚拟环境

3.4 激活虚拟环境

3.5 退出当前虚拟环境

3.6 查询conda中有那些虚拟环境

3.7 切换虚拟环境

3.8 查看当前conda 环境下安装的包

 3.9 查看python 版本，非conda命令

3.10 查看python 安装的包，非conda命令

3.11  在当前环境下查询工具包

3.12 在当前环境下安装指定版本的工具包

 3.13 在当前环境下更新工具包

 3.14 在当前环境下删除工具包

3.15  复制当前环境到一个新的环境中

3.16 删除一个工作环境

3.17 重名一个工作环境

3.18 清除当前工作环境 

 3.19 查看 conda 下载包的源地址

3.20 更新源地址

3.21 清理当前环境中下载未完成的包

3.22 查看当前环境用的源地址

4. 运行 python

---

本文开始先从准备搭建一个带webui的大模型对话界面开始介绍。

第一节 安装部署miniconda，搭建一个python运行环境

常见疑问：Miniconda和Anaconda的关系，Anaconda比Miniconda多包含了工具包，如果在不确定AI项目要使用的工具包情况下，下载miniconda就可以了，需要什么工具包，下载什么工具包。

1. 下载miniconda

官网下载地址

https://docs.anaconda.com/free/miniconda/

镜像下载地址

Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

2. 安装miniconda

修改安装路径，如果C盘空间不大，可以配置安装到其他盘符上，我配置到了D盘 miniconda3

安装完成后会弹出网页

3. 运行conda

3.1 查看conda版本

conda -V

 3.2 查看conda 信息包括安装路径

conda info

3.3 创建一个虚拟环境

# mygpt 是虚拟环境的名称

# python=3.10 是制定了python的版本号

conda create -n mygpt python=3.10 

3.4 激活虚拟环境

# mygpt 是刚才创建的虚拟环境名称

conda activate mygpt

3.5 退出当前虚拟环境

 conda deactivate

3.6 查询conda中有那些虚拟环境

conda info -e

或

cond info --envs

或

conda env list

3.7 切换虚拟环境

conda activate tts

提示：不同的虚拟环境可以安装不同的python 版本和 各种python库

3.8 查看当前conda 环境下安装的包

conda list

 3.9 查看python 版本，非conda命令

python -V

3.10 查看python 安装的包，非conda命令

pip list

3.11  在当前环境下查询工具包

#conda search <package_name>

conda search openssl

 

如果查询的包没有安装会有相应的提示，例如：

3.12 在当前环境下安装指定版本的工具包

 #conda install <package_name>
conda install ollama=0.1.9

 3.13 在当前环境下更新工具包

conda update ollama

如果我们想要升级 mytts 环境 下的 numpy 和 scipy，只需执行

conda update -n mytts numpy scipy

如果要更新 conda 本身，则需执行

conda update conda

 如果要更新 anaconda ，则需执行

conda update anaconda

注： 升级 Anaconda 前需要先升级 conda。

 3.14 在当前环境下删除工具包

conda remove ollama=0.1.9

3.15  复制当前环境到一个新的环境中

#conda create --name <new_env_name> --clone <copied_env_name>
conda create --name mygpt --clone mytts

3.16 删除一个工作环境

后面要加上 --all 参数

#conda remove --name <env_name> --all
conda remove --name mytts --all

3.17 重名一个工作环境

conda create -n <newname> --clone <oldname>
conda remove -n <oldname> --all 

3.18 清除当前工作环境 

# 删除没有用的包
conda clean -p
# 删除保存下来的压缩文件（.tar）
conda clean -t
# 删除无用的包和缓存
conda clean --all 

 3.19 查看 conda 下载包的源地址

conda config --show-sources

 

3.20 更新源地址

conda config 用来配置 conda 的频道，相关信息会存储在 C:\Users\你的用户名\.condarc 文件中。

Windows 用户.condarc 的文件，可以先执行

conda config --set show_channel_urls yes

 修改 .condarc 文件，我的.condarc文件如下：

channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64/
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/

remote_read_timeout_secs: 1000.0
ssl_verify: false

修改完后，执行 conda clean -i 清除索引缓存，保证用的是镜像站提供的索引。

设置完后，我们可以执行 conda config --get channels

常用源地址

# 清华
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

3.21 清理当前环境中下载未完成的包

conda clean -i

3.22 查看当前环境用的源地址

conda config --get channels

或

conda config --show channels

4. 运行 python

python -V #查看python 版本

python #运行

这一节配置好了conda环境，python也可以运行了，接下来就可以上代码了。