当前位置:   article > 正文

深度学习模型部署——Flask框架轻量级部署+阿里云服务器_云服务器搭建深度学习模型

云服务器搭建深度学习模型

项目场景:

​因为参加一个比赛,需要把训练好的深度学习模型部署到web端,第一次做,在网上也搜索了很多教程,基本上没有适合自己的,只有一个b站up主讲的还不错https://www.bilibili.com/video/BV1Qv41117SR/?spm_id_from=333.999.0.0&vd_source=6ca6a313467efae52a28428a64104c10https://www.bilibili.com/video/BV1Qv41117SR/?spm_id_from=333.999.0.0&vd_source=6ca6a313467efae52a28428a64104c10在前端的一部分html语言借鉴了这个up主,有兴趣的可以去看看。在部署的时候遇到了很多坑,就想记录一下,仅代表个人看法

项目场景:角膜疾病图片识别算法(pytorch环境),用Flask轻量级框架部署到web端并部署到阿里云服务器进行测试。


流程:

1.写预测函数

1.1将训练好的模型参数加载到模型中去

  1. checkpoint_path = "/model_best.pth.tar" #训练好的模型参数(要注意保存模型的时候是保存了模型还是模型参数,这里是模型参数)
  2. model = res50Encoder(attention_map_num, class_num) #加载模型
  3. model.load_state_dict(torch.load(checkpoint_path,map_location='cpu')['state_dict'])#(将参数加载到模型中去)
  4. model.eval() #pytorch框架会自动把BN和Dropout固定住,直接用训练好的值

1.2 数据预处理模块

  1. data_transform = transforms.Compose([
  2. transforms.Resize((n, m)),
  3. transforms.CenterCrop(num),
  4. transforms.ToTensor(),
  5. transforms.Normalize(a,b),
  6. ]) #根据自己的模型,写出数据预处理模块,n,m,num,a,b按照自己的模型填写

1.3 加载数据(我是图片的二进制格式)

  1. img = Image.open(io.BytesIO(image_bytes)) #将图片的二进制文件转化
  2. img = data_transform(img) #数据变换
  3. img = img.float().unsqueeze(0) #数据调整维度

 1.4 数据标签,根据自己的模型数据集的标签定义

class_labels=['','','']  #自己往''填label

1.5 开始预测

  1. with torch.no_grad():
  2. attention_maps, _, output1, coarse_logits= model(img.cpu())
  3. refined_input = mask2bbox(attention_maps, img.cpu())
  4. _, _, output2, _= model(refined_input)
  5. output = (output1 + output2) / 2
  6. output = torch.softmax(output, dim=-1)
  7. #根据output输出标签值
  8. _, pred = torch.max(output, 1)
  9. pred_label = class_labels[pred.item()]

2. 利用Flask框架部署

直接看代码吧,这是app.py 

  1. #app.py
  2. from flask import Flask, jsonify, request
  3. from yuce import pred
  4. from flask_cors import CORS
  5. import flask
  6. app = Flask(__name__)
  7. CORS(app) #跨域问题
  8. @app.route('/predict', methods=['POST'])
  9. def predict():
  10. if request.method == 'POST':
  11. file = request.files['file']
  12. print(file)
  13. img_bytes = file.read()
  14. class_name = pred(img_bytes) #预测函数pred()(第一个步骤写的)
  15. if(class_name ):
  16. print("结果:"+class_name)
  17. else:
  18. print("error")
  19. return jsonify({ 'class_name': class_name})
  20. return jsonify({"your call is GET"}) #将化成标签json格式
  21. @app.route("/",methods = ['POST','GET'])
  22. def root():
  23. return flask.render_template("upload.html") #前端交互界面
  24. if __name__ == '__main__':
  25. app.run(host="0.0.0.0",port=80,debug=True)

3.写前端交互界面upload.html(借鉴b站up主,前面有提到) 

可自行去up主的GitHub下载https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/tree/master/deploying_service/deploying_pytorchhttps://github.com/WZMIAOMIAO/deep-learning-for-image-processing/tree/master/deploying_service/deploying_pytorch

4.在本地成功跑起来后,可以得到这样一个界面 

 然后就可以自行上传图片进行预测

5.阿里云服务器部署

5.1首先要准备一个阿里云服务器,新人有一个月的优惠,但是只能租用cpu,所以如果你的模型是gpu请自行购买gpu服务器,当然你也可以改变你的模型,用cpu跑(因为穷,所以我就把模型改成cpu跑,从第一步的代码可以看出,当然要小心输入要一致,也要用.cpu)。然后我选择的是ubuntu系统

5.2准备好xshell7和xftp7两个软件,xshelll7是可以登录你的ssh,然后用来跑代码。xftp7是上传文件,可以从本地把文件传到服务器上去。

xshell7登录:

 将自己的ssh填上去,然后用户身份验证进行登录。

 xftp7登录:和上图差不多

 然后就可以在服务器上跑代码,但是要注意安装相对应的库,需要小心代码中的路径问题,当服务器上面成功跑起来,就可以用公网IP访。(再将公网IP部署到你的域名,就可以访问网址,注意备案!!,不然会被封号)

问题描述+解决问题

部署过程中遇到很多困难

1.注意安装jQuery库,可以去up主的github上直接下载,注意安装到static库下面

2.注意你买的服务器类型,如果是cpu要修改输入!!!

  1. #(将参数加载到模型中去)
  2. model.load_state_dict(torch.load(checkpoint_path,map_location='cpu')['state_dict'])
  3. #注意img.cpu()
  4. attention_maps, _, output1, coarse_logits= model(img.cpu())
  5. refined_input = mask2bbox(attention_maps, img.cpu())

 3.部署到服务器上去可能会遇到无法响应的情况,可能是端口没有开启,可以去阿里云的网络安全组开启端口,我的端口是80,可以在下图中自己手动修改!!开启后,打开要用公网ip!!!

 

 如果还是无法访问可以自行查看阿里云的帮助ECS实例的安全组规则未生效_云服务器 ECS-阿里云帮助中心

 小结:

第一次自己部署深度模型,经验不足,仅供参考。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/195202
推荐阅读
相关标签
  

闽ICP备14008679号