缺陷检测~Anomalib

这里说说如何应用Anomalib在数据集不平衡的情况下检测缺陷

Paula Ramos，英特尔 AI 软件布道师，美国 武卓，英特尔 AI 软件布道师，中国 Samet Akcay，英特尔人工智能研究工程师/科学家

在《如何应用Anomalib在数据集不平衡的情况下检测缺陷？》https://mp.weixin.qq.com/s/VWugI_01bh9otZzDuiQz-A中，我们介绍了深度学习异常检测库 Anomalib。简而言之，当您想进行自动缺陷检测，但数据集不平衡时，Anomalib 是一个很好的工具。

希望您已经通过入门 notebook 访问并亲自试用了这个开源项目。如果没有，请不要担心，这篇博文将教您如何结合自己的数据集使用 Anomalib。

在这个示例中，我们将介绍一个令人振奋的 Dobot 机器人工业用例，其中的机械臂用于教育、工业和智能用例中。如果您没有可用的 Dobot 机器人，您可以简单地修改 notebook，避开、注释或改变机器人代码，使其为您所用。

图 1：使用教育机器人进行基于 Anomalib 的缺陷检测。

为了解 Anomalib 的工作原理，我们将看一个检查彩色立方体的生产线（图 1）。其中一些立方体会有洞或缺陷，需要从传送带上取下。由于这些缺陷在生产线上并不常见，我们将为我们的 AI 模型拍摄一些图像。

安装：

按照以下步骤使用源文件安装 Anomalib：

1.使用 Python 3.8 版本创建运行 Anomalib + Dobot DLL 的环境

• 对于 Windows，使用以下代码：

<code class="language-plain has-numbering hljs" id="code_id_0">python -m venv anomalib_env 

anomalib_env\Scripts\activate</code>

• 对于 Ubuntu：

<code class="language-plain has-numbering hljs" id="code_id_1">python3 -m venv anomalib_env 

source anomalib_env/bin/activate</code>

2.从 GitHub 存储库中安装 Anomalib 及 OpenVINO™ 要求（在这篇博文中，我们将不使用 pip 安装命令）：

<code class="language-plain has-numbering hljs" id="code_id_2">python –m pip install –upgrade pip wheel setuptools 

git clone https://github.com/openvinotoolkit/anomalib.git 

cd anomalib 

pip install -e . [openvino]</code>

3.安装 Jupyter Lab 或 Jupyter Notebook：https://jupyter.org/install

<code class="language-plain has-numbering hljs" id="code_id_3">pip install notebook 

pip install ipywidgets</code>

4.然后连接您的 USB 摄像头，使用简单的摄像头应用验证它在正常工作。然后，关闭该应用。

可选：如果您可以访问 Dobot，请实施以下步骤：

1. 安装 Dobot 要求（更多信息请参考 Dobot 文档）。
2. 检查 Dobot 的所有连接状态，并使用 Dobot Studio 验证它在正常工作。
3. 将通风配件安装在 Dobot 上，并使用 Dobot Studio 验证它在正常工作。
4. 在 Dobot Studio（图 2）中，点击“Home”按钮，找到：

• 校准坐标：立方体阵列的左上角初始位置。
• 位置坐标：机械臂应将立方体放在传送带上方的位置。
• 异常坐标：释放异常立方体的位置。
• 然后在 notebook 中替换这些坐标。有关该步骤的更多说明，请参考自述文件。

5.如需使用机器人运行 notebook，从这里下载 Dobot API 和驱动程序文件，并将它们添加到存储库 Anomalib 文件夹的 notebooks/500_uses_cases/dobot 中。

图 2：Dobot Studio 界面。

注：如果没有机器人，您可以转到另一个 notebook，如 501b notebook，通过这个链接下载数据集，并在那里尝试训练和推理。

Notebook 的数据采集和推理

下面，我们需要使用正常的数据集创建文件夹。在这个示例中，我们创建了一个彩色立方体的数据集，并为异常情况添加一个黑色圆圈贴纸，以模拟盒子上的洞或缺陷（图 3）。对于数据采集和推理，我们将使用 501a notebook。

图 3：用于第一轮训练的数据集。

在采集数据时，请务必将 acquisition 变量设置 为 True  来运行notebook，并为没有异常的数据定义“正常”文件夹，为异常图像定义“异常”文件夹。数据集将直接在 Anomalib 克隆的文件夹中创建，所以我们将看到 Anomalib/dataset/cubes 文件夹。

如果您没有机器人，您可以修改代码以保存图像或使用下载的数据集进行训练。

推理：

对于推理，acquisition 变量应该是 False，我们不会保存任何图像。我们将读取采集到的视频帧，使用 OpenVINO 运行推理，并决定放置立方体的位置：对于正常立方体，放置在传送带上；对于异常立方体，放置在传送带外。

我们需要识别采集标记 — 采集模式为 True，推理模式为 False。在采集模式下，要注意是创建正常还是异常文件夹。例如，在采集模式下，notebook 会将每张图像保存在 anomalib/datasets/cubes/{FOLDER} 中，以便进一步训练。在推理模式下，notebook 不会保存图像；它将运行推理并显示结果。

训练：

对于训练，我们将使用 501b notebook。在这个 notebook 中，我们将使用 PyTorch Lighting，并使用“Padim”模型进行训练。这种模型有几个优点：我们不需要 GPU，只用 CPU 就可以完成训练过程，而且训练速度也很快。

现在，让我们深入了解一下训练 notebook！

导入

在这一部分，我们将解释用于该示例的软件包。我们还将从 Anomalib 库中调用需要使用的软件包。

配置：

有两种方法来配置 Anomalib 模块，一种是使用配置文件，另一种是使用 API。最简单的方法是通过 API 查看该库的功能。如果您希望在您的生产系统中实施 Anomalib，请使用配置文件（YAML 文件），它是核心训练与测试进程，包含数据集、模型、试验和回调管理（图 4）。

在接下来的部分，我们将描述如何使用 API 配置您的训练。

图 4：训练和验证模块。

数据集管理器：

通过 API，我们可以修改数据集模块。我们将准备数据集路径、格式、图像大小、批量大小和任务类型。然后，我们使用以下代码将数据加载到管道中。

<code class="language-plain has-numbering hljs" id="code_id_4">i, data = next(enumerate(datamodule.val_dataloader()))</code>

模型管理器：

对于异常检测模型，我们使用 Padim，您也可以使用其他 Anomalib 模型，如：CFlow、CS-Flow、DFKDE、DFM、DRAEM、FastFlow、Ganomaly Patchcore、Reverse Distillation 和 STFPM。此外，我们使用 API 设置了模型管理器；使用 anomalib.models 导入 Padim。

回调（Callbacks）管理器:

为了适当地训练模型，我们需要添加一些其他的“非基础”逻辑，如保存权重、尽早终止、以异常分数为基准以及将输入/输出图像可视化。为了实现这些，我们使用回调Callbacks。Anomalib 有自己的Callbacks，并支持 PyTorch Lightning 的本地callbacks。通过该代码，我们将创建在训练期间执行的回调列表:https://gist.github.com/paularamo/581d6c99504e673a8147e77995478624。

训练：

在设置数据模块、模型和callbacks之后，我们可以训练模型了。训练模型所需的最后一个组件是 pytorch_lightning Trainer 对象，它可处理训练、测试和预测管道。查看 notebook 中的 Trainer 对象示例:https://gist.github.com/paularamo/e25957185d41798c869aec9b8d127c24。

验证：

我们使用 OpenVINO 推理进行验证。在之前的导入部分，我们导入了 anomalib.deploy 模块中的 OpenVINOInferencer。现在，我们将用它来运行推理并检查结果。首先，我们需要检查 OpenVINO 模型是否在结果文件夹中。

预测结果：

为了实施推理，我们需要从 OpenVINOinference（我们可在其中设置 OpenVINO 模型及其元数据）中调用 predict 方法，并确定需要使用的设备：

<code class="language-plain has-numbering hljs" id="code_id_5">predictions = inferencer.predict(image=image)</code>

预测包含与结果有关的各种信息：原始图像、预测分数、异常图、热图图像、预测掩码和分割结果（图 5）。根据您要选择的任务类型，您可能需要更多信息。

图 5：预测结果

最后，我们采用 Dobot 机器人的缺陷检测用例基本是这样的（图 6）。

图 6：运行 Anomalib 模型推理的教育机器人。 

使用您自己的数据集的技巧和建议

数据集转换：

如果您想提高模型的准确性，您可以在您的训练管道中应用数据转换。您应该在 config.yaml 的 dataset.transform_config 部分提供增强配置文件的路径。这意味着您需要有一个用于 Anomalib 设置的 config.yaml 文件，以及一个可供 Anomalib config yaml 文件使用的单独 albumentations_config.yaml 文件。

在这个讨论帖中:https://github.com/openvinotoolkit/anomalib/discussions/737，您可以学习如何将数据转换添加到您的实际训练管道。

强大的模型：

异常检测库并非无所不能，在碰到麻烦的数据集时也可能会失效。好消息是：您可以尝试 13 个不同的模型，并能对每个实验的结果进行基准测试。您可以将基准测试入口点脚本用于其中，并将配置文件用于基准测试目的。这将帮助您为实际用例选择最佳模型。

如需更多指南，请查看“操作指南”https://openvinotoolkit.github.io/anomalib/how_to_guides/index.html。

Paula Ramos 自 21 世纪初以来一直在哥伦比亚开发新型集成工程技术，主要涉及计算机视觉、机器人和机器学习在农业领域的应用。在攻读博士和研究生学位期间，她部署了多个低成本的智能边缘和物联网计算技术，这些技术可供农民等不具备计算机视觉系统专业知识的人员操作。她的发明可在严苛和紧急的条件下运行，如没有照明控制的农业和户外环境，也可从容应对高太阳辐射条件、甚至极端高温条件。目前，她是英特尔 AI 软件布道师，负责开发能够理解和重新创造周围视觉世界以满足现实需求的智能系统/机器。

Samet Akcay 是人工智能研究工程师/科学家。他的主要研究兴趣包括实时图像分类、检测、异常检测，以及基于深度/机器学习算法的无监督特征学习。他最近与人联合开发了开源的 Anomalib，这是该领域最大的异常检测库之一。Samet 拥有英国杜伦大学计算机科学系的博士学位，并获得了美国宾夕法尼亚州立大学电气工程系 Robust Machine Intelligence Lab 的硕士学位。他在顶级的计算机视觉和机器/深度学习会议和期刊上发表了 30 多篇学术论文。

武卓是英特尔 AI 软件布道师，专注于 OpenVINO™ 工具套件的研究。她的工作职责涵盖了从深度学习技术到 5G 无线通信技术的领域。她在计算机视觉、机器学习、边缘计算、物联网系统和无线通信物理层算法等方面做出了卓越贡献。她为汽车、银行、保险等不同行业的企业客户提供基于机器学习和深度学习的端到端解决方案，在 4G-LTE 和 5G 无线通信系统方面进行了广泛研究，并曾在中国贝尔实验室担任研究科学家，期间申请了多项专利。她在上海大学担任副教授时，曾作为主要研究人员主导过多个研究项目。