포인트 클라우드 해당 감지 결과는 잡기 개체 포즈를 생성합니다

기능 설명

이 연산자는 3D 포인트 클라우드 정보와 2D 이미지 감지 결과를 결합하여 감지된 물체의 픽 자세를 생성하는 데 사용됩니다. 먼저 입력된 포인트 클라우드 목록과 입력된 2D 감지 결과 목록을 일치시키고 정렬합니다. 그런 다음 정렬된 포인트 클라우드를 기반으로 픽 포인트의 깊이(Z 좌표)를 계산하고, 2D 감지 결과의 기하학적 정보(예: 최소 외접 사각형)를 사용하여 픽 포인트의 XY 좌표와 Z축 주위 회전 각도를 결정하고, 최종적으로 로봇 기본 좌표계를 기반으로 자세를 출력합니다.

사용 시나리오

  • 로봇 피킹: 시각 유도 로봇 피킹 작업에서 로봇이 정확하게 피킹할 수 있도록 식별된 물체에 대한 정밀한 6D 픽 자세를 계산해야 합니다.

  • 자세 추정: 2D 감지의 범주 및 위치 정보와 3D 포인트 클라우드의 깊이 및 모양 정보를 결합하여 공간에서 물체의 전체 자세를 추정합니다.

입력 및 출력

입력 항목

카메라 좌표계 포인트 클라우드: 입력 포인트 클라우드 목록으로, 일반적으로 감지 결과에서 추출한 포인트 클라우드를 필터링하거나 클러스터링한 후 픽킹할 물체에 해당하는 포인트 클라우드 클러스터입니다. 카메라 좌표계의 포인트 클라우드여야 하며 NaN 값을 포함해서는 안 됩니다.

상: 포인트 클라우드에 해당하는 원본 이미지(컬러 또는 회색조)로, 포인트 클라우드를 픽셀 좌표로 다시 투영하는 데 사용됩니다.

테스트 결과: 2D 감지 연산자의 출력 결과 목록으로, 각 결과에는 물체의 경계 상자/다각형, 점수, 범주, 각도 등의 정보가 포함됩니다.

카메라 내부 참조: 3x3 카메라 내부 매트릭스.

카메라 왜곡: 카메라의 왜곡 계수 벡터.

손 눈 보정 매트릭스: 카메라 좌표계에서 로봇 기본 좌표계로의 4x4 변환 행렬입니다.

출력 항목

위치 정보 잡기:

계산된 픽 자세 목록입니다. 각 요소는 다음을 포함하는 사전입니다.

  • pose: 픽 오브젝트 자세.

  • score: 해당 2D 감지 결과의 신뢰도 점수.

  • class_name: 해당 2D 감지 결과의 범주.

  • uuid: 해당 2D 감지 결과의 고유 식별자.

  • polygon: 해당 2D 감지 결과의 다각형 윤곽선.

  • object_info: 물체 치수, 면적 등의 정보를 포함하는 사전. 여기의 치수와 면적은 실제 치수와 면적이며 단위는 각각 mm와 mm^2입니다.

  • points_number: 원본 목록에서 해당 입력 포인트 클라우드의 인덱스.

매개변수 설명

테스트 결과 각도 사용

매개변수 설명

최종 출력 자세의 회전 각도(Z축 주위)를 2D 감지 결과에서 제공하는 각도를 직접 사용할지 또는 포인트 클라우드와 감지 결과의 최소 외접 사각형을 기반으로 다시 계산할지 결정합니다.

조정 설명

  • 비활성화(기본값): 감지 결과의 각도를 직접 사용하지 않습니다. 연산자는 감지 결과 최소 외접 사각형의 짧은 변 중간점을 연결하는 선을 계산하고, 이를 카메라 좌표계로 투영한 다음 로봇 기본 좌표계로 변환하고, 이 선과 기본 좌표계 X축 사이의 각도를 최종 자세의 Rz 회전으로 계산합니다.

  • 활성화: 입력 "테스트 결과"의 각 인스턴스에서 제공하는 각도 값을 최종 자세의 Rz 회전으로 직접 사용합니다. 이는 일반적으로 회전 감지에만 사용할 수 있으며 다른 감지 결과의 각도는 0이 됩니다.

정렬 전략

매개변수 설명

입력 포인트 클라우드 클러스터를 2D 감지 결과와 일치시키고 정렬하는 방법을 선택합니다.

조정 설명

  • 중심점 정렬(기본값): 포인트 클라우드를 이미지에 투영한 후의 중심점과 감지 결과 마스크의 중심점 사이의 거리를 계산하여 거리가 가장 짧은 것을 일치 대상으로 선택합니다. 계산이 빠르며 물체 간 간격이 넓고 중심점을 명확하게 구분할 수 있는 시나리오에 적합합니다.

  • 마스크 IoU(Intersection over Union) 정렬: 포인트 클라우드를 이미지에 투영하여 마스크를 생성하고 감지 결과 마스크와의 IoU를 계산하여 IoU가 가장 큰 것을 일치 대상으로 선택합니다. 모양 중첩을 고려하므로 물체가 밀접하게 붙어 있거나 부분적으로 가려진 상황에 더 강력할 수 있지만 계산량이 약간 더 많습니다.

캡처 지점의 z 값 계산 방법

매개변수 설명

정렬된 포인트 클라우드 클러스터를 기반으로 최종 픽 자세의 Z 좌표 값을 계산하는 방법을 선택합니다.

조정 설명

  • 평균(기본값): 포인트 클라우드 클러스터의 모든 점의 평균 Z 좌표를 사용합니다. 포인트 클라우드 품질이 좋고 특이치가 적은 경우에 적합합니다.

  • 중앙값: 포인트 클라우드 클러스터의 모든 점의 중앙 Z 좌표를 사용합니다. 특이치에 덜 민감하여 더 강력한 결과를 제공하며 포인트 클라우드에 노이즈가 많을 때 권장됩니다.

  • 마스크 중심 원형 영역 평균: 감지 결과의 최소 외접 사각형 중심에서 "원 반경 척도"로 정의된 원형 영역을 가져와 해당 영역 내 포인트 클라우드의 평균 Z 좌표를 계산합니다.

원 반경 척도

매개변수 설명

"캡처 지점의 z 값 계산 방법"이 "마스크 중심 원형 영역 평균"으로 설정된 경우 유효합니다. Z값을 계산하는 데 사용되는 원형 영역의 반지름을 정의하며, 이 반지름은 감지 결과 최소 외접 사각형의 짧은 변 길이의 절반에 대한 비율입니다.

조정 설명

이 매개변수는 깊이 Z값을 계산할 때 참조하는 물체 표면 영역의 크기를 제어합니다.

  • 비율이 작을수록 물체 중심의 매우 작은 영역의 점만 고려하므로 더 안정적일 수 있지만 노이즈에 취약할 수 있습니다.

  • 비율이 클수록 더 넓은 범위의 점을 고려하므로 더 부드러울 수 있지만 표면 기복이 더 많이 포함됩니다.

매개변수 범위

[0, 1], 기본값: 0.3