ROS下 Moveit 3D感知功能与Kinect联合使用

1、Moveit 安装

Moveit官网教程

2、Kinect驱动安装

参考网址:
https://blog.csdn.net/sunbibei/article/details/51594824
https://blog.csdn.net/qq_33835307/article/details/81272377

2.1、KinectLinux驱动安装:libfreenect2

git clone https://github.com/OpenKinect/libfreenect2.git
cd libfreenect2
sudo apt-get install build-essential cmake pkg-config
sudo apt-get install libusb-1.0-0-dev
sudo apt-get install libturbojpeg libjpeg-turbo8-dev
sudo apt-get install libglfw3-dev
sudo apt-get install libopenni2-dev

cd ..
mkdir build && cd build
cmake .. -DCMAKE_INSTALL_PREFIX=$HOME/freenect2
make
make install
#针对上面cmake命令的说明, 第一个参数, 指定安装的位置; 第二个参数,增加对C++11的支持。
  • 设定udev rules: sudo cp ../platform/linux/udev/90-kinect2.rules /etc/udev/rules.d/, 然后重新插拔Kinect2.
  • 运行build/bin 路径下运行./Protonect,如下效果:
    Screenshot from 2019-09-20 15-02-46.png

2.2、Kinect ROS驱动安装:iai-kinect2

cd ~/rosLib_ws/src/
git clone https://github.com/code-iai/iai_kinect2.git
cd iai_kinect2
rosdep install -r --from-paths .
cd ~/rosLib_ws
catkin_make -DCMAKE_BUILD_TYPE="Release"
#Note: rosdep will output errors on not being able to locate [kinect2_bridge] and [depth_registration].

运行Kinect ROS驱动:
roslaunch kinect2_bridge kinect2_bridge.launch
rostopic list:查看kinect相机对应的ros话题。

附:

  1. kinect2_calibration:标定kinect彩色图和深度图程序。 Further details
  2. 添加标定生成文件到 kinect2_bridge/data/<serialnumber> 文件夹。Further details
  3. 重新启动kinect2_bridge ,可通过rosrun kinect2_viewer kinect2_viewer kinect2 sd cloud`查看点云图像。

3、Moveit 3D感知结合Kinect点云数据生成栅格地图

Perception Pipeline Tutorial

3.1 Updater使用插件架构来处理不同类型的输入:

  • PointCloud Occupancy Map Updater : 点云(sensor_msgs/PointCloud2
  • Depth Image Occupancy Map Updater : 深度图像(sensor_msgs/Image
roslaunch moveit_tutorials obstacle_avoidance_demo.launch //官方点云数据包回放功能演示

YAML Configuration file (Point Cloud):
我使用Kinect的点云topic:/kinect2/sd/points

#“sensors_kinect_pointcloud.yaml”:
sensors:
  - sensor_plugin: occupancy_map_monitor/PointCloudOctomapUpdater    #指定要监听点云的主题。
    point_cloud_topic: /camera/depth_registered/points  # 将topic改成: /kinect2/sd/points
    max_range: 5.0   #(以m为单位)不会使用比此更远的点。
    point_subsample: 1  #选择每个point_subsample点中的一个
    padding_offset: 0.1  #填充的大小(以cm为单位)
    padding_scale: 1.0  #填充的比例。
    max_update_rate: 1.0
    filtered_cloud_topic: filtered_cloud  #将发布过滤后的云的主题(主要用于调试)。过滤云是执行自我过滤后的结果云。
#注:#注释使用请删除

YAML Configuration file (Depth Map):

sensors:
  - sensor_plugin: occupancy_map_monitor/DepthImageOctomapUpdater
    image_topic: /camera/depth_registered/image_raw  #指定要监听深度图像的主题。
    queue_size: 5  #要排队的图像数。
    near_clipping_plane_distance: 0.3    #缺乏可见性之前的最小距离。
    far_clipping_plane_distance: 5.0  
    shadow_threshold: 0.2    #实体下方阴影贴图的最小亮度,使其动态阴影可见
    padding_scale: 4.0
    padding_offset: 0.03
    max_update_rate: 1.0  #octomap表示将以小于或等于此值的速率更新
    filtered_cloud_topic: filtered_cloud

3.2 更新YAML文件:

您现在需要使用此传感器信息更新panda_moveit_config目录的“launch”目录中的sensor_manager.launch文件(此文件由Setup Assistant自动生成但为空)。您需要将以下行添加到该文件中,以配置要使用的MoveIt的传感器源集:

< rosparam  command = “load”  file = “$(find panda_moveit_config)/config/sensors_kinect_pointcloud.yaml”  />

如果您使用的是depthmap,请将yaml文件的名称更改为sensors_kinect_depthmap.yaml。请注意,您需要输入上面创建的正确文件的路径。

3.3 Octomap配置

您还需要通过在sensor_manager.launch添加以下行来配置Octomap

< param  name = “octomap_frame”  type = “string”  value = “odom_combined”  /> 
< param  name = “octomap_resolution”  type = “double”  value = “0.05”  /> 
< param  name = “max_range”  type = “double”  value = “5.0”  />

MoveIt使用基于八叉树的框架来表示它周围的世界。上面的Octomap参数是此表示的配置参数:

  • octomap_frame:指定将存储此表示的坐标系。如果您正在使用移动机器人,则此框架应该是世界上固定的框架。
  • octomap_resolution:指定维护此表示的分辨率(以米为单位)。
  • max_range:指定要为此节点输入的任何传感器应用的最大范围值。

3.4 运行launch文件:(修改过后的)

先运行Kinect Ros驱动:
roslaunch kinect2_bridge kinect2_bridge.launch
在运行Moveit 3D环境感知launch文件:(obstacle_real_kinect.launch详细文件如下)
roslaunch obstacle_real_kinect.launch

<launch>
  <include file="$(find panda_moveit_config)/launch/demo.launch" />
  <!-- broadcast static tf for panda to world -->
  <node pkg="tf2_ros" type="static_transform_publisher" name="to_world" args="0 0.4 -0.6 0 0 0  panda_link0 world" />
  <!-- broadcast static tf for kinect to world -->
  <node pkg="tf2_ros" type="static_transform_publisher" name="kinect_to_world" args="0 0.3 -0.5 0 0 0  kinect2_ir_optical_frame world" />

</launch>

运行后效果如下:

生成的OctoMap

在Rviz中添加PointCloud2插件:可以查看点云数据
Topic选择/kinect2/sd/points:可以看到如下图部分, PointCloud2->OctoMap
PointCloud2->OctoMap

生成TF PDF:rosrun tf view_frames

4、挖坑部分,待解决

1.相机坐标系相对于世界坐标系没有标定:launch文件随意发送了一个静态TF.

2.静态TF,之前正常,现在附在world坐标系的Octomap会报xxx_link exits.(已解决)

坐标系位姿重复,讲上述roslaunch obstacle_real_kinect.launch文件中两个静态TF位姿发不一样即可。:urdf的各连杆不能头尾相连。

Ps:IntelSR300 linux与ros驱动——小强ROS机器人教程

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容