Yolo v8/v10 检测与分割

功能描述

该算子利用先进的 YOLOv8 或 YOLOv10 深度学习模型，对输入的彩色图像执行目标检测、实例分割或旋转目标检测任务，支持 .pt、.onnx 和 .epicnn 等多种模型格式。

使用场景

  • 目标检测： 快速定位并识别图像中的多个物体，输出其包围框和类别。适用于零件识别、缺陷定位、物品计数等。

  • 实例分割： 在目标检测的基础上，进一步为每个识别出的物体实例生成精确的像素级分割掩码（轮廓）。适用于需要精确形状信息的场景，如抓取定位、面积测量等。

  • 旋转目标检测： 检测具有任意方向的物体，并输出能够紧密包围该物体的旋转边界框及其角度。适用于倾斜或任意摆放的物体检测。

输入输出

输入项

图像： 需要进行检测或分割的彩色图像（需要是RGB格式）。目前仅支持单张图像输入。

输出项

检测结果： 包含检测/分割结果的列表。

参数说明

  • 输入图像 : 输入格式要求为彩色RGB图像，由于Epic系列相机对数据做了特殊处理，因此输出的图像都支持使用YOLO算法来检测与分割。

  • 单图处理 : 当前算子实现仅支持一次处理一张图像。

  • GPU环境 : 若开启GPU，特别是使用ONNX模型时，请务必确认CUDA环境和 onnxruntime-gpu 库已正确安装并兼容。

  • Epicnn模型 : 使用 .epicnn 模型时，必须正确设置“推断类型”参数。

权重文件

参数说明

指定用于推理的 YOLO 模型权重文件。支持 PyTorch (.pt)、ONNX (.onnx) 和 epicnn (.epicnn) 格式。必须选择一个有效的模型文件。

调参说明

根据任务需求选择合适的模型文件。

  • .pt 文件通常用于训练和调试；

  • .onnx 文件具有较好的跨平台兼容性，CPU上运行速度相对会更快；

  • .epicnn 文件专用智能相机平台以获得最佳性能。

启用GPU

参数说明

选择是否使用 GPU 进行模型推理计算。如果勾选，需要确保计算机有可用的 NVIDIA 显卡及相应的 CUDA 环境。

调参说明

勾选此项可以显著提升处理速度，特别对于大型模型或高分辨率图像。

  • 如果使用 .onnx 模型并开启GPU，需要根据提示安装与 CUDA 版本匹配的 onnxruntime-gpu 库；

  • 如果无兼容GPU或环境配置不正确，应取消勾选（使用CPU）。

  • 对于 .epicnn 模型，此选项无效。

推断类型

参数说明

仅在选择 .epicnn 权重文件时有效。用于明确告知算子该 .epicnn 模型是用于哪种任务（检测、分割、旋转检测）以及基于哪种YOLO版本（v8或v10）

调参说明

当加载 .epicnn 文件时，必须根据该模型的实际训练任务选择正确的推断类型，否则可能导致后处理错误。

例如，如果加载的是YOLOv8分割模型转换的 .epicnn 文件，则应选择 "yolov8分割"。对于 .pt 和 .onnx 模型，算子会自动识别任务类型，此参数会被忽略。

置信阈值

参数说明

用于过滤检测/分割结果的置信度分数阈值，只有分数高于此阈值的实例才会被输出。

调参说明

这是最常用的调整参数。增大此值会使得输出结果更少，只保留模型非常确信的目标，可以有效减少误报。减小此值会得到更多的检测结果，可能包含一些不太确信或质量较低的目标，但也可能找回一些漏检的目标。需要根据实际应用场景在召回率和精确率之间进行权衡。通常从默认值开始，根据效果进行调整。

参数范围

[0.005, 1]，默认值：0.8