一文了解百度飞桨EasyDL如何实现海洋馆动物自动识别_物体关键点识别飞桨

项目说明
业务背景
作为展览馆，如何进一步通过互动有趣方式吸引参观者进行沉浸式参观是近来的发展趋势。以海洋馆为例，观展人面对海洋馆大型鱼缸内的众多鱼类，经常由于海洋认知知识缺乏而眼花缭乱。当前这家海洋馆针对该情况，面向观展人提供了拍图识物的功能，面向眼前的海洋生物进行拍照，就能立刻知晓该生物的类型，同时推广关于该海洋生物的百度百科介绍信息，帮助观展人进一步了解海洋生物。

业务难点
由于海洋生物的识别具有特殊性，各个海洋馆展品不同，涉及到稀有品种或特殊的光照、鱼缸设计，市场上没有通用的解决方案可以直接使用，需要进行定制化训练。

解决思路
该海洋馆通过EasyDL图像分类任务，前期收集几十张图片进行可行性验证后，最终优化为识别准确率90%以上的模型，在展览业务中开发了AI识图小程序并在该小程序中直接调用该AI服务接口，极大提高了观展人的沉浸式体验。同时，AI识图小程序也作为海洋互动营销的后续入口，持续发挥与观展人互动的线上影响力。

数据准备
第一步，明确需要识别的海洋种类。在该海洋馆中，POC物种包括海象、海龟、海狮、白鲸、八爪鱼。 第二步，针对各类海洋生物，收集该种类下的观展人常见角度、场景图片，以海龟为例，分别收集正面、侧面、背面等多角度图片，如下图：

提示：如果收集到的训练数据是以单生物为主，建议在您业务系统中的小程序用户拍照时，提醒用户尽量手机镜头内仅包括一个海洋生物，避免造成干扰。 第三步，形成可上传到EasyDL进行训练的数据，您点击【导入】选择【未标注】数据导入，可以上传本地原图的zip包，如下图：

第四步，当您把图片上传到图像分类数据集进行标注时，可批量标注功能快速为图片打标签，提高您的标注效率，如下图：

模型训练
当您的数据准备完成后，您可以点击先点击【创建模型】完成模型创建后，点击【训练模型】启动训练。 考虑到展览馆的常见应用情况，最常见的集成方式是小程序上集成在线API，该种方式对展览馆来说，仅需要将在线接口http接口结合授权的ak、sk输入到自己的业务程序中即可运行，同时，可以借助公有云灵活的弹性扩缩容机机制，根据实际调用量调整接口调用份额，减少模型调用费用。因此，可选择公有云API部署方式。 选择算法时，在对时延没有特殊要求的情况下，建议您可以使用高精度算法进行训练，优势是可以使用较少的数据集也能获得高精度效果。 提示：如果您想要模型在一些特殊场景下的表现更好，例如，在目标主体物经常存在被部分遮挡的情况下保证高精度效果，您可以手动选择对应的数据增强算子，如下图：

模型部署
模型训练完毕后，如您对模型效果满意，可以选择公有云部署，在接口地址中输入自定义名称，如下图：

完成申请提交后，点击在线服务，即通过审核的该条服务会展示在您的在线服务列表中，您可以点击服务详情，获取http地址，为保证您接口调用时的安全性、保密性，请您按照操作指引，前往控制台完成应用创建，即可获取对应的接口AK、SK，保证调用授权，如下图：

效果优化
当模型训练完毕后，可通过模型评估报告查看效果，从报告中五个标签的训练精度表现看，海狮、海象准确率较低，如下图：

追溯原因，海狮与海象本身身形较为相似，存在容易混淆的较大概率，而问题较为严重的海狮则是在前期数据收集时没有保证采集场景的稳定性，冗杂了部分网图，对训练造成干扰。因此，需要对网图进行剔除，保证场景实拍。同时，针对海象和海狮天然的外观趋同，了解到在大型鱼缸内存在的物种是海象，而海狮常见于单独表演场地，是需要观展人独立买票进行参观，因此不存在需要识别海狮的可能性，所以，将海狮数据集进行剔除，避免影响整体识别效果。

常见问题
问题1：为什么选择图像分类任务？

在该场景的业务逻辑下需要识别鱼缸中鱼的品类，不需要检测鱼的个数、位置等其他信息，因此，图像分类适合该业务场景。

问题2：模型效果不达标如何进一步优化？

首先，通过评估报告中的细粒度指标定位识别问题存在的具体海洋生物种类，反向追溯该种类数据集是否存在数据较少、质量差的情况，对训练数据进行质量优化；第二步，有针对性的补充对应标签下海洋生物数据，需要包括各个角度下的图片；第三步，巧借业务逻辑对模型效果的进一步优化进行效果加持，例如，提醒用户拍照时尽量仅对准一个生物，避免造成干扰；对不需要识别且容造成干扰的种类，进行定向删除。

问题3：作为展览馆，对AI投入成本有限，有低成本的AI集成方案吗？

您可以选择公有云API部署，API接口按照调用量付费，实现阶梯定价，调用量越高单价越低。同时，提供调用点数包（九折）、QPS叠加包（针对临时性的高并发要求），详情参照：https://ai.baidu.com/ai-doc/EASYDL/Eklt45b4o。