英语原文共 5 页，剩余内容已隐藏，支付完成后下载完整资料

工业零部件6自由度姿态估计与机器人箱中取物系统的虚拟调试

摘 要

机器人处理未分类的零件，也称为箱中取物，仍然是工业自动化的一个挑战。许多系统都需要进行物理测试和训练，这导致了一个较长的调试阶段。本文介绍了一种基于工业仿真软件的拣箱系统测试和性能评价的概念。该系统利用物理模拟、虚拟立体图像渲染和运动学以及机器人控制器仿真。这使得一个虚拟的软件/硬件在循环验证和优化的箱子拾取系统的性能。该概念在电子生产的真实工业场景中的主要拾挑选子过程中得到验证。结果表明，该系统正确地绘制了影响实际取箱系统的主要影响图。在此基础上，我们讨论了这一新的仿真概念的进一步应用领域。

关键词 计算机视觉、系统设计与集成；柔性制造系统

目 录

第一章 介绍 1

第二章 ART状态 1

2.1 箱中取物 1

2.2 箱中取物方面的模拟 1

2.3研究差距及衍生目标 2

第三章 装箱模拟系统 2

4.1点云分割 5

4.2 照明影响 5

4.3模式投影 6

4.4目标检测和姿态估计 6

第四章 影响 7

第五章 结论与展望 8

第一章 介绍

箱中取物描述了自动抓取的过程和在容器中随机排列的零件的定义的处理。这个过程非常复杂，由于其固有的非决定性，很难预测。然而，对于工业用途，较短的调试时间和在安装前验证系统性能和安全影响是关键。拣箱是装配等手工生产任务广泛自动化的关键推动因素，因为工人通常接收随机放置在箱子或小型载重运输车中的零件。因此，计划采选系统的仿真和验证为生产自动化提供了巨大的潜力。

ART状态

在这一章中，简要总结了垃圾箱的现状及其模拟和相关传感器。

2.1 箱中取物

拾选择涉及物体的检测，物体的6自由度(DoF)姿态的估计，无碰撞机器人轨迹的规划和评估，以及抓取动作的决定和执行。因此，这个主题本质上是跨学科的。

尽管用于检测和姿态估计的对象的三维感知一直是50多年来的研究重点，性能和鲁棒性优化是今天仍然相关。目前研究中的目标识别和姿态估计方法大多采用人工神经网络。Hodan等人对现有解决方案的当前性能回顾。揭示了，来自2D和3D传感器的6自由度姿态估计仍然是一个关键的过程，特别是对于无纹理部件，但这在工业用例中很常见。

在商业解决方案中，多摄像头系统是当今最重要的使用的传感器技术。目标检测和姿态估计，然后基于点对特征或基于使用点云的基于模板的匹配。

2.2 箱中取物方面的模拟

希亚和库伦科特介绍了一种使用定制的模拟设置来模拟取箱系统的方法。该仿真能够提供洞察系统性能和必要的硬件调整。采用物理和机器人仿真实现了随机箱填充和抓取执行。没有考虑对象的检测或识别，因为没有模拟传感器。但在系统验证和优化方面却取得了良好的效果。

在传感器模拟中，Fur等人。提出了一个利用光线跟踪模拟激光扫描仪的概念。Kohn等人在增强虚拟远程操作应用中实现了一个数据分割的深度摄像机模拟。Song等人使用类似的方法从CAD文件中生成点云，作为姿态估计系统的输入。然而，在这些方法中不考虑材料、表面或照明条件。

2.3研究差距及衍生目标

垃圾箱仍然是一个相关的研究重点，因为它在手动系统的（改造）自动化方面具有巨大的潜力。由于这是一个复杂的过程，因此需要优化和评估鲁棒性。由于其不确定性的特性，性能规划和验证具有挑战性。这些挑战可以通过使用模拟来避免硬件测试和调整来解决。最初的选择模拟方法显示了良好的结果，但没有考虑目标检测和姿态估计工作流程，阻止了一个全面的模拟。现有的传感器模拟概念提供了基本的功能，但没有实际地反映工业条件的拾挑选。因此，这一贡献提出了一个系统，包括所有相关的子过程。

装箱模拟系统

该系统由三个主要的功能块组成。

工业CAD系统西门子NX12reg;，特别是机电一体化概念设计器(MCD)，被用作一个模拟环境。在此环境下，模拟了箱中取物系统的硬件设置，包括机器人的运动学以及传感器和执行器的行为。利用物理模拟能力，可以实现一个现实的随机填充箱的零件。它还可以用于力和扭矩监测，以确定拾取成功和碰撞。

图1 箱中取物应用程序虚拟调试的系统结构。

在仿真环境中，可以采用不同形式的可视化（图2）。表1列出了它们的功能概述。虽然标准的CAD可视化性能非常好，但不支持额外的可视化特性。实时渲染得益于材质和表面、纹理、灯光和阴影的基本表示。但是，不考虑对象间的阴影、透明度或反射。光线追踪提供了最高的可视化精度，但需要迭代细化，使其非实时能力。由于系统的实时需求，本研究采用了实时渲染引擎。它将出现在表1中。

图2 不同渲染技术的结果：(a)标准可视化；(b)实时渲染；无纹理噪声的(c)ray跟踪渲染；具有随机纹理噪声的(d)ray跟踪渲染（划痕）

表1 对渲染技术能力的评估表

现实的可视化对于视差图像的计算和点云的生成是必要的。对于无纹理部分，标准可视化将产生很少用于匹配和视差计算的特征，从而导致不完整的点云。虽然这在现实中也是如此，但真实的部分将包含更多的随机特征，由于表面结构、划痕、污渍或颗粒进行匹配。这个间隙通过表面和材料的高级渲染来补偿。

从渲染的场景中，捕获两个固定的视图和参数的摄像机视图。当触发时，图像被发布到一个自定义的虚拟相机驱动程序（图1），基于一个OpenCV库，在Ubuntu16.04发行版上的机器人操作系统(ROS)动态沙盘中实现。

虚拟摄像机驱动程序包括内在和外在摄像机参数以及立体参数，这些参数部分计算，并通过棋盘模型的虚拟校准确定。驱动程序计算并发布一个RGB点云(图3)。

假设要验证的筛选管道包括从点云后处理到路径规划的所有相关步骤。因此，实现的下一个组件是与虚拟机器人控制器的接口。与真实的机器人界面相同，驱动程序发布一个联合状态列表。采用虚拟机器人控制器URSim进行机器人控制器仿真(见图1)未经修改的机器人程序在虚拟调试期间执行。

图3.立体声摄像机模拟：(a)左相机图像；(b)右相机图像；(c)视差图；(d)点云

(a)

(c)

(b)

(d)

对于机器人与环境的交互，关节运动以及与末端执行器和外围设备的信息流都被集成到仿真中。机器人控制器的联合状态被读取，并映射到运动机器人模型上。仿真中的虚拟传感器和执行器通过输入和输出（I/O）与虚拟机器人控制器进行通信。工业通信协议或可编程逻辑控制器(PLC)的集成也是可能的，但对于用例并不是必要的。因此，可以对整个系统进行虚拟调试在物理模拟中，利用碰撞体可以直接实现机械夹持作用。其他类型的夹具，如真空或磁性，可以通过添加一个碰撞传感器和实现一个基于信号的碰撞对象附加的行为来简化。

因此，实现了一个完整的仿真过程，包括立体传感器、图像处理、目标检测、姿态估计、轨迹规划、外围设备和机器人行为以及PLC功能（图4）。所有模拟组件都可以在同一个系统上运行，或在一个分布式设置中运行。因此，箱中取物系统和PLC代码也可以在实际的硬件上进行测试。

图4 虚拟取仓过程的仿真模型

为了验证仿真，我们比较了基于传感器的主要子过程在现实和虚拟环境中的性能和结果。

4.1点云分割

绘制了点云后处理算法在仿真和现实中的功能（图5）。后处理器首先裁剪箱子，作为点云中的物体，并从点云中提取外部数据，以提高零件识别的鲁棒性。它仍然作为路径规划的碰撞对象保存。在第二步中，执行基于rgb的数据分割。所有的点，在这种情况下主要是棕色纸盒镶嵌，如果它们的rgb值与焦点部分有显著差异，则从点云中删除。当在演示器和仿真上比较来自同一算法的结果时，可以观察到该功能实际上是可验证的。

(a)

(b)

(c)

图5 虚拟（上）和真实（下）输入数据的点云分割：(a)未经过滤的点云输入；

料仓和外部的几何裁剪；姿态估计管道的颜色过滤点云

4.2 照明影响

环境光在物体识别中起着至关重要的作用，特别是在工业部件上，它们通常是反射的，甚至是透明的。这可能会导致高光入射区域不显示立体声相机的任何可识别的特征，从而导致点云覆盖的空间损失。为了验证，将聚焦的光束投射到场景上。点云使用与第4.1节中相同的分割算法进行过滤。在图6中，显示了对所产生的点云的影响。

点云不完整

(a)

(b)

高光入射点

图6 照明发生率对点云质量的影响

（a）模拟和(b)现实

4.3模式投影

为了提高点云的准确性和分辨率，投影仪设备经常与立体相机结合使用。通过将（随机）模式投影到场景上，可以生成立体映射的附加特性。研究了图形投影仪对点云质量的影响（图7）。可以观察到，与现实类似，虚拟生成的点云的分辨率受益于人工创建的特征，特别是关于无纹理的表面和物体的精细部分。然而，通过额外的明亮的准时光源，额外的阴影效果被引入到场景中。

(a)

(b)

图7 与(a)和无模拟模式投影装置(b)的立体匹配比较

4.4目标检测和姿态估计

其中最关键的过程是目标检测、定位和6自由度姿态估计。在五个场景中比较了匹配算法，在模拟模型中手动重新创建来自真实设置的真实随机箱子填充，以便在相似的数据集上进行合理的性能比较(图8)。

(a)

(b)

图8 在模拟(a)和真实设置(b)中的典型匹配结果

匹配算法部署在分割后的点云上（见第4.1节）。基于所获得的匹配分数，比较了在虚拟点云和真实点云上的算法性能。表2显示了这两种设置中的两个最高值。匹配1在图8中被标记为红色，匹配2被标记为黄色。在此评估中没有遇到假阳性匹配项。它将出现在表2中。

表2 目标识别的性能评价表