25. [ROS RC카] Object Following - 3 & 강의 마무리와 Future Work 소개

🎇 지난 시간에 이어서, find_ball node를 분석해 보겠습니다. 🎇

그럼 이번엔, main문에 있는 이 수많은 코드들은 무엇일까요?

    params = cv2.SimpleBlobDetector_Params()

    # Change thresholds
    params.minThreshold = 0
    params.maxThreshold = 200

    # Filter by Area.
    params.filterByArea = True
    params.minArea = 2000
    params.maxArea = 70000  # 640 * 480 = 307,200

    # Filter by Circularity
    params.filterByCircularity = True
    params.minCircularity = 0.1

    # Filter by Convexity
    params.filterByConvexity = True
    params.minConvexity = 0.2

    # Filter by Inertia
    params.filterByInertia = True
    params.minInertiaRatio = 0.7

    rospy.init_node("blob_detector", anonymous=True)
    ic = BlobDetector(green_min, green_max, blur, params, detection_window)

물체로 인식되기 위해서는 최소, 최대 어느정도 픽셀 면적을 가져야 하는지,

사각형 물체, 원형 물체만 인식할 것인지,

얼마나 필터에 적합해야 물체로 인식할 것인지 등의 매개변수를 설정하는 부분입니다.

각 매개변수들에 대한 자세한 설명은 레퍼런스를 남기겠습니다.

이 매개변수들을, cv2.SimpleBlobDetector_create에게 넘겨주면, 픽셀 연산을 거쳐 keypoints(특징점)를 반환합니다. 이 특징점이 바로 우리가 추적하고자 하는 물체의 이미지상에서 위치가 되지요.

blob_detector

		#- Apply blob detection
    detector = cv2.SimpleBlobDetector_create(params)

    # Reverse the mask: blobs are black on white
    reversemask = 255-mask
    
    if imshow:
        cv2.imshow("Reverse Mask", reversemask)
        cv2.waitKey(0)
        
    keypoints = detector.detect(reversemask)

    return keypoints, reversemask

image_blob 토픽입니다.

물체로 인식되었다면, 사진과 같이 빨간 동그라미가 생기는 것이 보이며,

파란 사각형 바깥 부분은 흐리게 처리되었지요?

연산량을 줄이기 위해, 그리고 외곡이 심한 테두리 부분에서의 오차를 방지하기 위한 처리입니다.

실제 코드에서는 어떻게 구현되어 있는지 살펴보겠습니다.

find_ball.py

draw_keypoints#--- Detect blobs
keypoints, mask   = blob_detect(cv_image, self._threshold[0], self._threshold[1], self._blur,
                                blob_params=self._blob_params, search_window=self.detection_window )
#--- Draw search window and blobs
cv_image    = blur_outside(cv_image, 10, self.detection_window)

cv_image    = draw_window(cv_image, self.detection_window, line=1)
cv_image    = draw_frame(cv_image)

cv_image    = draw_keypoints(cv_image, keypoints) 

try:
    self.image_pub.publish(self.bridge.cv2_to_imgmsg(cv_image, "bgr8"))
    self.mask_pub.publish(self.bridge.cv2_to_imgmsg(mask, "8UC1"))

draw_window : 관심 지역인 파란 사각형을 그려줍니다. 사각형의 크기는 main에 비율 형태의 매개변수를 사용합니다.

blur_outside : 파란 사각형 바깥 부분은 흐림 처리를 해줍니다.

draw_frame : 이미지 중심에 카메라 프레임을 그려줍니다.

draw_keypoints : 최종적으로, 우리가 추적하고자 하는 keypoints를 빨간 동그라미로 표시해줍니다.

각 함수들에 대해서는 include/blob_detector.py를 참조하시길 바랍니다.

대망의 publish

for i, keyPoint in enumerate(keypoints):
    #--- Here you can implement some tracking algorithm to filter multiple detections
    #--- We are simply getting the first result
    x = keyPoint.pt[0]
    y = keyPoint.pt[1]
    s = keyPoint.size
    print ("kp %d: s = %3d   x = %3d  y= %3d"%(i, s, x, y))
    
    #--- Find x and y position in camera adimensional frame
    x, y = get_blob_relative_position(cv_image, keyPoint)
    
    self.blob_point.x = x
    self.blob_point.y = y
    self.blob_pub.publish(self.blob_point) 
    break

그럼 최종적으로 다음 node에 publish되는 값은 무엇일까요??

여러 물체가 있는 경우에 대비한 코드가 보이며, get_blob_relative_position로부터의 output을 사용하고 있습니다. 이 함수를 살펴야겠지요.

get_blob_relative_position

#---------- Obtain the camera relative frame coordinate of one single keypoint
#-- return(x,y)
def get_blob_relative_position(image, keyPoint):
    cols = float(image.shape[0]) # 480
    rows = float(image.shape[1]) # 640
    # print(rows, cols)
    center_x    = 0.5*rows # 320
    center_y    = 0.5*cols # 240
    # print(center_x)
    x = (keyPoint.pt[0] - center_x)/(center_x)
    y = (keyPoint.pt[1] - center_y)/(center_y)
    return(x,y)