开源AI中台部署运行

1.背景

  由于工作上的原因，需要搭建一个AI训练平台，其中包括数据标注管理，模型训练，模型推理等功能，如果从头开始搭建那工作量是巨大啊，设计到前后端，还有训练资源到管理，所以便找了一个开源的框架进行部署，此文是介绍之江实验室开源的天枢平台，当作记录，一些详细的步骤还是需要参考官方文档，这里只是从大的角度理解。
1

2.架构

天枢架构

AI平台开放流程

以上为官方给出的架构图和流程图，但是如果从部署的角度去理解对于一个对前后端架构不熟悉的人来做还是有点云里雾里，不知道部署的每个软件是什么作用，怎么把他们串起来。

根据自己的理解做了以下的补充
1

部署的时候需要注意三个方面，前端代码、后端代码还有k8s
当了解这三个的作用那么就可以进行部署

3.安装

尽管官方提供了一键安装脚本，事实上那是几乎不可能成功安装的，所以自己可以分步骤安装

1.k8s安装

这里安装可以参考官方文档，也可以自己直接百度找到安装教程，但是这里要注意的有几个点：

• 需要把harbor ，docker先安装好
• 要想清楚是集群还是单机（对k8s不熟悉后面添加节点就有点麻烦）
• 需要把～/.kube下的配置文件保留给后端，后端去连k8s需要用
• 还是多参考官方给出的安装文档（特别是一些组件的安装）

训练的镜像，notebook 和推理的镜像最终都是通过k8s启动
1

2. 后端服务安装部署

 - nacos 需要先安装，服务发现和注册都是通过nacos
 - redis 需要先安装
 - nfs 和minio 需要先安装，minio中的目录需要修改权限为读和写
 -  修改代码里面的yaml 文件
 - 编译代码
 - 创建和导入原始数据表（可能会出现乱码的情况）
 

1
2
3
4
5
6
7
8
9

创建以下NFS 目录

导入sql 表 在后端代码sql 目录

3. 前端服务安装部署

 - 安装nginx 并设置
 - 安装nodejs
 - 编译

1
2
3
4
5

实际安装过程发现前端的代码编译出错的比较少。安装依赖慢点话可以换成淘宝的源。

4.功能展示

5.总结

6.参考文献

1. http://docs.tianshu.org.cn/docs/