物体检测类型实验，华为云ModelArts数据管理功能新体验

前言

在零售行业的线下店铺中，最大的工作量之一便是检查货架的货品情况，及时理货补货。

对于某些供需较大的货品，及时补充空缺，对提升消费者购物满意度有着重要的提升作用。

然而，每个区域的货物成百上千，加上一些外界因素，比如店铺灯光、视觉盲区，这些因素叠加在一起，可能会影响店员对货物数量的感知。

最近在研究AI和视觉识别，追踪货架上的货物情况。借助工具，实现店员对货架商品动态的了如指掌的场景，是我这次研究的主要方向。

而这次寻到的助力，依旧是华为云ModelArts，它提供的物体检测类型实验，可以帮忙解决前期数据管理的难题。

三分钟了解华为云ModelArts的数据管理

AI模型开发中，数据准备花费时间多？

它说，

给开发者提供了基础的数据标注、版本管理能力。

AI模型开发中，数据准备效率低？

它说，

给开发者提供了数据处理（数据选择、数据清洗等）、自动分组、智能标注、特征分析等功能，帮助开发者提升数据准备效率。

功能区分这么细致，用起来复杂吗？

它说，

提供了实践示例，简单几步，便可轻松完成一个物体检测类型实验。

接下来，就让我们一起体验一下，如何完成一个物体检测类型实验。

物体检测类型实验

前置工作

• 首先确保已经完成了华为云账号的开通与认证。
• 创建OBS桶用于存储数据。

创建OBS桶的操作流程如下：

1、登录OBS管理控制台，在桶列表页面右上角单击“创建桶”，创建OBS桶。

2、完成参数录入，创建OBS桶。

• • "区域"：华北-北京四，后续区域需要选择和OBS桶一致。
  • "桶名称"：创建桶名称，建议创建的桶名称具有可识别性，本次实验以“obs-wtjclx”为例。

其他使用默认值即可。确认无误后单击右下角“立即创建”。

进入实验

步骤1：从AI Gallery下载数据集

1、进入模型详情页，下载数据集。

进入模型详情页有两种方式：

• 单击traffic，进入模型详情页。
• 单击AI Gallery链接，在“资产集市>数据”下，选择“数据集”，进入AI Gallery数据集页面，搜索“traffic”，进入模型详情页。

2、在弹出的下载页面中，设置目标区域和目标位置。

目标区域需与ModelArts使用区域一致。例如“华北-北京四”。

目标位置即指定数据集下载的目标路径，必须是OBS路径。选择之前创建的OBS路径。

3、单击“确定”开始下载。页面自动进入下载列表，可以通过进度列查看详细下载进度。

步骤2：查看数据集

1、进入ModelArts管理控制台，在左侧菜单栏中选择“数据管理>数据集”，可以进入数据集列表，查看到下载任务创建的数据集，单击名称左侧的小三角，展开数据集详情，可查看数据集的导入状态。当状态变为“导入完成”时，表示数据集已准备就绪。

步骤3：数据处理

1、发布数据集版本。

在执行数据选择处理前，需要先发布一个数据集版本，作为数据校验算法的输入。

1. 进入“数据管理>数据集”页面，选择刚才导入成功的数据集，单击右侧操作列的“发布”。
2. 在弹出的“发布新版本”对话框中，填写如下参数：

版本名称：系统默认以V001开始，也可以自行定义版本名称。

其他参数建议使用默认值，然后单击“确定”发布数据集版本。

2、创建数据处理任务。在此任务中，选择数据选择算法。

1. 在左侧菜单栏中，选择“数据管理>数据处理”，单击“创建”。

1. 在“创建数据处理”页面，填写如下参数，

• • 名称：“PRE-WTJCLX”。
  • 场景类别：选择“物体检测”。
  • 数据处理类型：选择“数据选择”。
  • 输入：数据集，选择刚才创建的数据集及其数据集版本。

其他默认，然后单击右下角的“创建”，完成数据处理任务的创建。

• 

步骤4：自动分组

1、启动自动分组任务，并等待任务完成。

1. 在左侧菜单栏中选择“数据管理>数据标注”，进入“数据标注”管理页面。
2. 按照如下图配置参数，单击右下角“创建”，完场数据标注的创建

   

3. 在标注作业列表中，选择前面创建的标注作业，单击标注作业名称进入“标注作业详情页”。
4. 在数据集详情页的“全部”页签中，单击“自动分组 > 启动任务”。

 

1. 在弹出的“自动分组”窗口中，设置如下参数:

• “分组数”：4。
• “属性名称”："wtjclx-label"。

其他默认，然后单击“确定”，启动任务。

1. 启动任务提交成功后，界面右上角显示此任务的进度。当任务状态变更为成功时，表示任务运行结束。

步骤5：智能标注

1、人工标注部分数据。

在启动智能标注前，需人工完成少量数据标注，每个标签至少15张图片。

1. 创建标签集

1. 单击“开始标注”，进行人工标注，每种类型至少15张图片。

标注操作方法：

2、启动智能标注。

1. 在数据集详情页面，单击右上角“启动智能标注”。

1. 在“启动智能标注”窗口中，参数默认，然后单击“提交”。

3.确认智能标注结果。

在智能标注任务完成后，在“待确认”页签下，单击具体图片进入标注详情页面，可以查看或修改智能标注的结果。

步骤6：特征分析

1、创建特征分析任务。

1. 在执行特征分析前，需先发布一个数据集版本。在智能标注并确认完的数据，单击右上角“返回数据集概览”，然后单击“发布”，发布一个新版本。
2. 版本发布完成后，进入数据集概览页。选择“数据特征”页签，单击“特征分析”，在弹窗中选择刚才发布的数据集版本，并单击“确定”，启动特征分析任务。

1. 查看任务进度。

任务执行过程中，可以单击“任务历史”，查看任务进度。当任务状态变为成功时，表示任务执行完成。

2、查看特征分析结果。

特征分析任务执行完成后，可以在“数据特征”页签下，选择数据集版本、类型和数据特征指标，页面将自动呈现您选择对应版本及其指标数据，可以根据呈现的图表了解数据分布情况，帮助您更好的理解您的数据。

• 版本选择：根据实际情况选择已执行过特征任务的版本，可以选多个进行对比，也可以只选择一个。
• 类型：根据需要分析的类型选择。支持all、train、eval和inference。分别表示所有、训练、评估和推理类型。
• 数据特征指标：选择需要展示的指标。详细指标解释，可参见特征分析指标列表。

体验建议

1、文档内容待更新

目前“数据管理/数据集”功能模块已经是新版，但是文档中的部分操作还在沿用旧版的，希望未来更新一下。

2、部分截图和实际的不相符

如下是文档中“启动自动分组任务”的截图

实际则是如下截图，且实际操作也是通过新增“数据标注”任务之后进行自动分组操作。

总结

物体检测类型的实验，流程看似有些长，但是其实主要聚焦在控制台的数据管理分类下，不同功能进行不同的操作。

数据管理的功能十分强大，正如前面介绍的，除了提供了基础的数据标注、版本管理能力，同时还提供了数据处理（数据选择、数据清洗等）、自动分组、智能标注、特征分析等功能。

这样一来着实帮助开发者提升了数据准备的效率。

接下来，我会实际业务场景中，如何结合华为云ModelArts的数据管理功能，创造更好的实现方案。

未来，也期待与华为云ModelArts一起实现更多的可能。

---

作者：非职业「传道授业解惑」的开发者叶一一
简介：「趣学前端」、「CSS畅想」系列作者，华夏美食、国漫、古风重度爱好者，刑侦、无限流小说初级玩家。
如果看完文章有所收获，欢迎点赞