基于AI的计算机视觉应用在制造业中的应用

引言

美国质量协会（ASQ）的数据显示，制造商因缺陷而遭受的损失可占其销售总收入的近20%。用户日常使用的电话、汽车、电视和电脑等产品都须通过精密制造产出，方能在各类条件和场景中发挥作用。基于AI的计算机视觉应用正在以更快、更有效的方式帮助制造业检测制造流程中存在的缺陷，以帮助企业提高产量、保持产品质量的稳定性并减少误报。

事实上，根据谷歌云制造业报告所示，当前已有64%的制造企业通过部署AI来帮助其开展日常活动，其中有39%的制造企业将AI用于质量检查。驱动相关视觉应用的AI模型必须经过训练和调优，以预测众多用例中存在的特定缺陷，例如：汽车制造缺陷：如裂纹、车漆瑕疵或误装等半导体和电子产品缺陷：如印刷电路板（PCB）元件错位、断裂、存在多余的焊点或存在灰尘或头发等异物电信设施缺陷：如蜂窝塔和电线杆上存在裂缝或被腐蚀等这类感知AI模型的训练需要采集存在特定缺陷的图像来完成。

但这类图像采集在生产环境中很难做到且成本高昂。NVIDIAOmniverseReplicator可生成用于训练AI模型的合成数据，来帮助企业克服数据挑战。NVIDIAOmniverse是一个基于通用场景描述（USD）的计算平台，可赋能个人和团队开发3D工作流和应用。NVIDIAOmniverseReplicator是Omniverse平台中的一项可扩展的基础应用。开发人员可基于OmniverseReplicator，通过改变各项参数（如缺陷类型、位置、环境照明等），轻松生成不同的数据集来启动和加快模型训练与迭代。用户可通过访问DeveloponNVIDIAOmniverse了解更多有关信息。（https://developer.nvidia.cn/omniverse）

使用合成数据训练模型

本文将介绍如何充分利用合成数据来训练对象检测模型、使用有限的真值数据来进一步提高准确性以及使用模型处理中从未出现过的图像来对模型进行验证。以下示例是在车身（锥形前脸）上生成划痕（如图1所示）。需要注意的是，该工作流程需要使用AdobeSubstance3DDesigner或存在预先生成的划痕库、NVIDIAOmniverse以及所下载的USD格式的样本。

该工作流以在AdobeSubstance3DDesigner中创建一组缺陷开始，也就是本示例中的“划痕”，然后将缺陷与CAD零件导入NVIDIAOmniverse中，再将CAD零件置于特定场景中（例如生产线或车间）并在相应位置放置传感器或摄像头。场景设置完毕后，基于NVIDIAOmniverseReplicator，以程序性的方式将缺陷置于CAD零件上，来生成用于模型训练和评估的注释数据。整体的迭代流程将持续进行，直至模型达到预期的关键绩效指标（KPI）为止。

模型训练和验证

Omniverse扩展程序输出的是可用于大量本地或云端模型训练平台的标准文件格式。此外，开发人员还可以通过构建自定义写入器来格式化相关数据，以便将其用于特定的模型和平台之中。该示例中开发人员建立了一个可将输出结果导入Roboflow的自定义COCOJSON写入器。Roboflow是一个可用于训练和部署计算机视觉模型的网络平台。

通过上述调整可训练该模型于每张验证图像中发现更多的划痕，甚至能在置信度阈值更高的情况下来完成此操作。虽然初始模型展示的结果较好，但并不完美。为解决这些问题，可以采取以下解决措施：调整扩展程序参数以涵盖长度更长的划痕在所生成的场景中加入零件的更多角度改变照明和背景场景

入门事实上在现实世界中，并非总是能够获得足够的真值图像。开发人员可以使用NVIDIAOmniverseReplicator生成的合成数据来缩小仿真与现实之间的差距。

结论

本文介绍了基于AI的计算机视觉应用在制造业中的应用，并探讨了使用合成数据来克服真实数据缺失的优势。NVIDIAOmniverseReplicator可生成用于训练AI模型的合成数据，来帮助企业克服数据挑战。使用NVIDIAOmniverseReplicator生成的合成数据来训练对象检测模型、使用有限的真值数据来进一步提高准确性以及使用模型处理中从未出现过的图像来对模型进行验证，可以帮助企业提高产量、保持产品质量的稳定性并减少误报。