22. [ROS RC카] 카메라 ROS 연동

파이썬을 사용해서 젯슨 카메라를 다루는 방법에 대해 알아보겠습니다.

이전 시간의 복습을 해볼까요??

카메라 연결 확인

$ cd ~/Downloads
$ git clone https://github.com/JetsonHacksNano/CSI-Camera.git

$ gst-launch-1.0 nvarguscamerasrc sensor_id=0 ! \
   'video/x-raw(memory:NVMM),width=3280, height=2464, framerate=21/1, format=NV12' ! \
   nvvidconv flip-method=2 ! 'video/x-raw,width=960, height=720' ! \
   nvvidconv ! nvegltransform ! nveglglessink -e

# 종료는 ctrl + c로 가능합니다!!

sensor_id와 flip을 반드시 확인해주세요!! - 이는 카메라 연결 시 사용한 슬롯과 연관있습니다!!

이번 시간에 다루는 예제들은 모두 donkey_ros/csi_camera 폴더에 위치해 있습니다.

OpenCV4 설치, Setup

추후 많은 프로젝트에 대비하여 Jetson에 OpenCV4를 설치하고, 그 이후 ROS cv_bridge가 새로 설치한 OpenCV를 바라보도록 수정해 보겠습니다.

대략 2시간 30분 정도가 소요됩니다. 😕😕

$ cd ~/Downloads
$ git clone https://github.com/JetsonHacksNano/buildOpenCV
$ cd buildOpenCV
$ ./buildOpenCV.sh |& tee openCV_build.log

$ sudo gedit /opt/ros/melodic/share/cv_bridge/cmake/cv_bridgeConfig.cmake

# 수정 전
set(_include_dirs "include;/usr/include;/usr/include/opencv")
# 수정 후
set(_include_dirs "include;/usr/include;/usr/include/opencv4")

Webcam Publish - Desktop

#!/usr/bin/env python

import rospy
import cv2

from sensor_msgs.msg import Image
from cv_bridge import CvBridge, CvBridgeError

cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)
cap.set(cv2.CAP_PROP_FPS, 30)

rospy.init_node("webcam_pub", anonymous=True)
image_pub = rospy.Publisher("webcam_image", Image, queue_size=1)

bridge = CvBridge()

while not rospy.is_shutdown():
    # Capture frame-by-frame
    ret, cv_image = cap.read()

    # Display the resulting frame
    # cv2.imshow('frame',cv_image)
    # cv2.waitKey(3)
    image_pub.publish(bridge.cv2_to_imgmsg(cv_image, "bgr8"))


# When everything done, release the capture
cap.release()
cv2.destroyAllWindows()

먼저 실행부터 시켜보겠습니다 😇

$ roscore 
$ rosrun csi_camera webcam_pub.py
$ rosrun image_view image_view image:=/webcam_image

# jetson
$ roscore 
$ rosrun csi_camera csi_pub.py
$ rosrun image_view image_view image:=/csi_image

image_view

이미지 topic을 살펴볼 수 있게 해주는 툴입니다. 더불어, 마우스 오른쪽 클릭을 하면, 현 이미지를 저장할 수도 있답니다. 🕵️‍♂️

image:=/ 뒤에 살펴보고 싶은 이미지 토픽 이름을 써서 볼 수 있습니다.

코드 설명으로 넘어가겠습니다.

import

import rospy
import cv2

from sensor_msgs.msg import Image
from cv_bridge import CvBridge, CvBridgeError

앞서 cv_bridge가 opencv4를 바라보도록 바꾸었지요??

video stream 설정

cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)
cap.set(cv2.CAP_PROP_FPS, 30)

rospy.init_node("webcam_pub", anonymous=True)
image_pub = rospy.Publisher("webcam_image", Image, queue_size=1)

bridge = CvBridge()

가로, 세로, Frame Per Second 등의 매개변수를 지정하고 Publisher를 생성하였습니다.

Publish

while not rospy.is_shutdown():
    # Capture frame-by-frame
    ret, cv_image = cap.read()

    # Display the resulting frame
    # cv2.imshow('frame',cv_image)
    # cv2.waitKey(3)
    image_pub.publish(bridge.cv2_to_imgmsg(cv_image, "bgr8"))

opencv와 ros에서 사용하는 이미지 포맷이 다르기 때문에, cv2_to_imgmsg를 통해 변환해주고 있습니다.

종료 처리


# When everything done, release the capture
cap.release()
cv2.destroyAllWindows()

웹캡이 아닌, CSI 카메라를 사용해 봅시다.

csi_pub

$ roscore 
$ rosrun csi_camera csi_pub.py
$ rosrun image_view image_view image:=/csi_image

csi_pub.py

#!/usr/bin/env python

import rospy
import cv2

from sensor_msgs.msg import Image
from cv_bridge import CvBridge, CvBridgeError


def gstreamer_pipeline(
    capture_width=640,
    capture_height=480,
    display_width=640,
    display_height=480,
    framerate=60,
    flip_method=0,
):
    return (
        "nvarguscamerasrc ! "
        "video/x-raw(memory:NVMM), "
        "width=(int)%d, height=(int)%d, "
        "format=(string)NV12, framerate=(fraction)%d/1 ! "
        "nvvidconv flip-method=%d ! "
        "video/x-raw, width=(int)%d, height=(int)%d, format=(string)BGRx ! "
        "videoconvert ! "
        "video/x-raw, format=(string)BGR ! appsink"
        % (
            capture_width,
            capture_height,
            framerate,
            flip_method,
            display_width,
            display_height,
        )
    )


cap = cv2.VideoCapture(gstreamer_pipeline(flip_method=2), cv2.CAP_GSTREAMER)

rospy.init_node("csi_pub", anonymous=True)
image_pub = rospy.Publisher("csi_image", Image, queue_size=1)

bridge = CvBridge()

while not rospy.is_shutdown():
    # Capture frame-by-frame
    ret, cv_image = cap.read()

    # Display the resulting frame
    # cv2.imshow('frame',cv_image)
    # cv2.waitKey(3)
    image_pub.publish(bridge.cv2_to_imgmsg(cv_image, "bgr8"))


# When everything done, release the capture
cap.release()
cv2.destroyAllWindows()

함수 하나가 추가되었는데요, 이것에 대해서 살펴보겠습니다.

        "nvarguscamerasrc ! "
        "video/x-raw(memory:NVMM), "
        "width=(int)%d, height=(int)%d, "
        "format=(string)NV12, framerate=(fraction)%d/1 ! "
        "nvvidconv flip-method=%d ! "
        "video/x-raw, width=(int)%d, height=(int)%d, format=(string)BGRx ! "
        "videoconvert ! "
        "video/x-raw, format=(string)BGR ! appsink"

이 긴 문자열은 무엇일까요?? 강의 초반에 복습하면서 살펴보았던 커맨드 라인이 기억나시나요?

$ gst-launch-1.0 nvarguscamerasrc sensor_id=0 ! \
   'video/x-raw(memory:NVMM),width=3280, height=2464, framerate=21/1, format=NV12' ! \
   nvvidconv flip-method=2 ! 'video/x-raw,width=960, height=720' ! \
   nvvidconv ! nvegltransform ! nveglglessink -e

이 함수는 비디오 파이프라인을 다루기 위한 이 커맨드 라인을 파이썬 코드로 구현한 것이랍니다. 🙂

나머지 부분은 앞선 예제와 같습니다.

보너스!! 이미지 Streaming 서버

$ sudo apt-get install ros-melodic-web-video-server -y
$ roscore
$ rosrun csi_camera csi_pub.py
$ rosrun web_video_server web_video_server

# chrome
http://localhost:8080