常见场景的ATOM模版图文档

整体概览

如上图所示，整一个操作流程可以被简单划分成五个部分：

输入
预处理操作：这一部分主要是对输入信息进行筛选过滤，比如设定一些ROI
识别/匹配操作：核心操作，主要进行智能感知，发现物体的位置和姿态信息
结果后处理操作：主要针对位置姿态生成后续操作，比如抓取点生成。当然也会对结果进行过滤，提高准确度
输出

根据调试需求，atom图可分为两种，两种图的差别主要是在于输入输出，可通过调整输入输出进行转换：

ATOM调试图，输入为读取EpicRaw节点或EpicEye相机节点或读取点云+读取彩色图节点和测试数据节点，输出大多为生成抓取点节点+抓取点排序节点+绘制抓取点节点，根据不同需求可任意调整
EpicPro调试运行图，输入输出为EpicPro输入和EpicPro输出，配合epicPro运行

这两种图之间的转换主要在于输入输出的变化，同时ATOM调试图中，配置3维ROI节点可删除，改为从EpicPro输入节点获取3维ROI，以避免ROI出现

根据操作依赖输入的种类的不同，大致可以分为四种：

纯图像识别
纯点云识别
图像点云混合识别
大模型探索

分类

描述

使用场景

优点

缺点

纯图像识别

利用深度学习目标检测、实例分割方法或2d图像形状匹配方法进行图像分割，再结合点云信息进行后处理得到结果

袋子，箱子等木目标表面纹理特征明显，易于区分的场景，或目标形变无法用点云匹配的场景

(1) 能够应对非刚体

(2) 针对点云效果不好的情况可能有一定优势

(1) 需要采集图像进行标注训练

纯点云识别

直接用目标匹配

适用于表面不平整或难以提取目标边缘的的刚体场景，如曲轴，角阀等表面不平整的零件等

(1) 能够应对复杂姿态下的物体

(1) 精度依赖于点云的质量

用目标提取边缘做匹配

适用于目标表面平整且边缘明显的刚体场景，如耐火砖场景

(1) 相比较直接点云匹配速度更快

(1) 精度依赖点云质量

(2) 依赖目标的边缘

多视角方法进行匹配

适用于遮挡情况较多的场景

(1) 对遮挡场景效果较好

(2) 需要调参少

(3) 可根据工件设置视角

(1) 速度受尺度影响较大

图像点云混合

用2d方法先将目标附近区域提取出来再进行匹配

针对一些没有形变但是可能目标间缝隙太小难以很好匹配的场景，如和泰有序棒料场景

(1) 能够应对物体间缝隙小造成的匹配困难

(1) 需要图像和点云的操作，总体耗时可能较高

大模型(探索性)

检测或分割结果+sam

可通过点云分割或目标检测得到目标框和中心点坐标，将这两个结果(可只用一个)输入到Sam分割节点进行分割

(1) 可减少标注和训练

(1)模型效果不能完全保证现场使用

(2)对GPU要求较高，直接用CPU运行时间会很长

常用atom模板图列表

以下链接若打不开，则需复制地址到chrome浏览器打开

常用模板图

1.1.3版本ATOM在*EpicPro输入*节点中加入了本地读取功能，可以在节点中*开启本地读取*参数从本地文件夹读取.epicraw文件，每次运行会重新读取一个epicraw文件，便于多图测试。
为了便于复现现场问题，该文件夹下应该至少包含一个epicraw文件，并包含一个带3维ROI和手眼标定矩阵的json文件，若没有，则按默认值运行，手眼标定矩阵为单位阵，该JSON文件命名为runSpace.json，格式为{'3DROI': [{'min':[min_x, min_y, min_z], 'max': [max_x, max_y, max_z], 'transform': cam2ROIFrame}], 'cam2baseMatrix': [[], [], [], []]}。
以下模板图使用时，需要在EpicPro节点中修改EpicRaw文件夹路径为本地路径，可对应下载表格中的zip数据解压，也可指定包含epicraw的路径，若需要完整复现，需要在文件夹内按要求放入runSpace.json文件来提供ROI和手眼标定矩阵。若需要与EpicPro软件联调，可直接关闭开启本地读取开关，从EpicPro软件进行调用。