세그먼트 애니싱 (고속)

기능 설명

이 연산자는 FastSAM(Fast Segment Anything Model) 모델을 활용하여 사용자가 제공하는 프롬프트 정보(예: 경계 상자, 점 또는 텍스트 설명)를 기반으로 입력 이미지에 대해 빠른 인스턴스 분할을 수행합니다. 이미지에서 프롬프트에 해당하는 객체 영역을 식별하고 분할할 수 있습니다.

사용 사례

  • 대화형 분할: 이미지에서 특정 관심 객체를 빠르게 분할해야 할 때 경계 상자, 점 또는 매개변수의 텍스트 설명과 같은 프롬프트를 입력하여 모델이 분할하도록 안내할 수 있습니다.

  • 대상 추출: 복잡한 배경에서 특정 대상의 윤곽 정보를 정확하게 추출하는 데 사용됩니다.

  • 자동 주석 지원: 자동 주석 워크플로의 일부로, 간단한 프롬프트를 통해 대상의 초기 분할 마스크를 빠르게 생성할 수 있습니다.

입력 및 출력

입력 항목

그림: 분할할 컬러 이미지(RGB 형식이어야 함).

힌트 포인트 목록: 분할할 대상 영역을 나타내는 데 사용되는 여러 점 좌표[X, Y]를 포함하는 목록입니다. 예를 들어 대상에서 여러 점을 클릭합니다.

툴팁 목록: 각 상자가 네 개의 모서리 점으로 정의되고 분할할 대상 영역을 프레임하는 데 사용되는 여러 경계 상자 좌표를 포함하는 목록입니다.

출력 항목

테스트 결과: 분할 결과를 포함하는 목록으로, 각 결과는 분할된 인스턴스를 나타내며 해당 경계 상자(회전되거나 수평인 상자일 수 있음), 범주(기본값은 0 또는 지정된 범주), 신뢰도 점수 및 분할된 다각형 윤곽을 포함합니다.

매개변수 설명

이 연산자는 Fastsam Python 라이브러리에 의존합니다. 환경에 아직 설치되어 있지 않은 경우 Qianyi의 내부 pypi 소스를 방문하여 pip install fastsam을 사용하여 설치하십시오.

  • 프롬프트 조합: 여러 프롬프트 방법(점, 상자, 텍스트)을 동시에 사용할 수 있으며, 모델은 이 정보를 통합하여 분할합니다. 한 가지 유형의 프롬프트만 사용하려면 다른 프롬프트 입력이 비어 있거나 연결되어 있지 않은지 확인하십시오.

  • 입력 이미지: 입력이 컬러 RGB 이미지인지 확인하십시오.

  • 단일 이미지 처리: 현재 연산자 구현은 한 번에 하나의 이미지만 처리하도록 지원합니다.

  • 프롬프트 좌표: 점 프롬프트 및 상자 프롬프트에 대한 좌표는 이미지 픽셀 좌표여야 합니다.

가중치 파일

매개변수 설명

분할에 사용할 FastSAM 모델 가중치 파일(일반적으로 .pt 형식)을 지정합니다. 유효한 모델 파일을 선택해야 합니다.

매개변수 조정 가이드

작업 요구 사항 및 하드웨어 기능과 일치하는 모델을 선택하십시오. 일반적으로 더 큰 모델(예: FastSAM-x)은 정확도가 높지만 속도가 느리고, 더 작은 모델(예: FastSAM-s)은 속도가 빠르지만 정확도가 약간 낮을 수 있습니다.

GPU를 활성화하다

매개변수 설명

모델 추론 계산에 GPU를 사용할지 여부를 선택합니다. 선택한 경우 컴퓨터에 사용 가능한 NVIDIA 그래픽 카드와 해당 CUDA 환경이 있는지 확인해야 합니다.

매개변수 조정 가이드

GPU를 활성화하면 처리 속도가 크게 향상될 수 있습니다. 호환되는 GPU가 없는 경우 선택을 취소해야 합니다(CPU 사용).

이미지 크기

매개변수 설명

분할을 위해 모델에 입력되기 전에 입력 이미지가 조정될 크기입니다.

매개변수 조정 가이드

이미지 크기가 클수록 일반적으로 분할 정확도가 높아지지만 계산 시간과 GPU/CPU 메모리 소비도 증가합니다. 크기가 작을수록 반대 효과가 나타납니다. 일반적인 값에는 640, 1024 등이 있습니다. 특정 응용 프로그램 시나리오에 따라 정확도와 속도 간의 균형을 맞춰야 합니다.

매개변수 범위

기본값: 640

신빙성 임계값

매개변수 설명

FastSAM의 초기 분할 결과를 필터링하기 위한 신뢰도 점수 임계값입니다. 이 임계값보다 신뢰도가 높은 분할 결과만 유지됩니다.

매개변수 조정 가이드

이 값을 늘리면 분할 출력 결과가 줄어들어 모델이 매우 확신하는 객체만 유지되므로 잘못된 분할을 줄이고 후처리 속도를 높일 수 있습니다. 이 값을 줄이면 더 많은 분할 결과가 생성되어 신뢰도가 낮은 대상이 포함될 수 있지만 잘못된 분할 및 후처리 시간이 증가할 수 있습니다. 일반적으로 기본값에서 시작하여 조정합니다.

매개변수 범위

[0, 1], 기본값: 0.5

필터 임계값 겹치기

매개변수 설명

비최대 억제(NMS)를 위한 교차 결합(IoU) 임계값입니다. 여러 분할 결과(마스크 또는 상자)가 이 임계값보다 많이 겹치면 신뢰도가 낮은 결과는 억제됩니다.

매개변수 조정 가이드

이 값을 늘리면 겹치는 결과가 더 많이 공존할 수 있으며, 이는 객체가 밀집되어 있고 서로 가리는 장면에서 적합할 수 있습니다. 이 값을 줄이면 겹치는 결과가 더 적극적으로 제거되어 각 대상이 최상의 결과 하나만 출력하도록 보장됩니다. 기본값은 일반적으로 대부분의 시나리오에 적합합니다.

매개변수 범위

[0, 1], 기본값: 0.9

카테고리 이름

매개변수 설명

출력 분할 결과에 범주 이름(ID)을 할당합니다. FastSAM 자체는 특정 범주를 구별하지 않으며, 이 매개변수는 후속 처리(예: 필터링, 통계)를 위해 이러한 분할 결과에 태그를 지정하는 데 사용됩니다.

매개변수 조정 가이드

응용 프로그램 시나리오 요구 사항에 따라 분할된 객체에 의미 있는 범주 ID를 할당합니다.

매개변수 범위

"0"에서 "29"까지의 범주 이름 옵션을 제공하며 기본값은 0입니다.

프롬프트

매개변수 설명

텍스트 내용과 관련된 객체를 분할하도록 모델을 안내하기 위해 텍스트 설명을 입력합니다. 예를 들어 "bag" 또는 "red box"를 입력합니다.

매개변수 조정 가이드

분할하려는 대상을 설명하기 위해 간결하고 구체적인 명사나 구문을 사용해 보십시오. 쉼표를 사용하여 여러 프롬프트를 구분할 수 있습니다. 예를 들어 "a blue car, the traffic light". 텍스트 프롬프트의 효과는 모델의 이해 능력에 따라 달라집니다.

텍스트 프롬프트 임계값

매개변수 설명

텍스트 프롬프트를 사용할 때 텍스트 유사도 점수를 기반으로 분할 결과를 필터링하는 데 사용되는 임계값입니다. 이 임계값보다 유사도 점수가 높은 결과만 유지됩니다.

매개변수 조정 가이드

이것은 실제 결과에 따라 조정해야 하는 비교적 민감한 매개변수입니다. 텍스트 프롬프트가 원하는 결과를 분할하지 못하면 이 임계값을 낮추십시오. 관련 없는 결과가 많이 분할되면 이 임계값을 높이십시오. 이 임계값은 최종 출력 결과의 신뢰도 점수가 아니며 일반적으로 비교적 낮게 설정됩니다.

매개변수 범위

[0, 10], 기본값: 0.01