物体路径规划项目笔记

1.文献解析

Chatpaper

Basic Information:

  • Title: Perception and Avoidance of Multiple Small Fast Moving Objects for Quadrotors With Only Low-Cost RGBD Camera (基于低成本RGBD相机的四旋翼机器人对多个小型快速移动物体的感知和避障)
  • Authors: Minghao Lu, Han Chen, and Peng Lu
  • Affiliation: Department of Mechanical Engineering, The University of Hong Kong, Hong Kong, SAR, China (Minghao Lu and Peng Lu); Department of Aeronautical and Aviation Engineering, The Hong Kong Polytechnic University, Hong Kong, SAR, China (Han Chen)
  • Keywords: Aerial systems, collision avoidance, motion and path planning, perception and autonomy
  • URLs: Paper, GitHub

论文简要 :

  • 本文提出了一种基于低成本RGBD相机的四旋翼机器人感知和避障系统,能够快速准确地感知和避开小型动态障碍物,实现在复杂环境中的导航。

背景信息:

  • 论文背景: 随着机器人技术的发展,人们希望机器人能够帮助人类完成一些繁重和危险的工作,如探索危险和未知的环境。无人机,特别是微型无人机,由于其在空间中的灵活性,已成为探索未知环境的最佳选择。
  • 过去方案: 过去的研究已经实现了无人机在静态未知环境中的自主飞行,但是环境中的快速移动物体仍然对无人机构成严重威胁。现有的研究主要基于事件相机来避免快速移动物体,但是事件相机的分辨率较低,对于小型快速移动物体的定位误差较大。此外,现有的方法在感知和避障方面仍存在一些挑战,如多目标跟踪和动态障碍物避免。
  • 论文的Motivation: 鉴于现有方法的局限性,本文旨在提出一种基于低成本RGBD相机的系统,实现对小型快速移动物体的感知和避障。与现有研究相比,本文使用了低成本的RGBD相机,并考虑了多个物体,从而引入了更多的挑战。本文的目标是实现四旋翼机器人对小型快速移动物体的感知和避障,为无人机在复杂环境中的自主导航提供解决方案。

方法:

  • a. 理论背景:
    • 本文提出了一种使用低成本RGBD相机进行四旋翼机器人感知和避障的系统。该系统使用Yolo-Fastest算法在RGB帧中检测移动物体,从深度图像中获取3D信息,并使用3D-SORT算法跟踪物体。它还生成优化的平滑轨迹以避开静态和动态障碍物。该系统在仿真和实际实验中进行了测试。
  • b. 技术路线:
    • 本文使用低成本深度相机来感知和避免小型快速移动物体的挑战。系统使用3D-SORT算法进行物体跟踪,并使用轨迹优化进行动态避障。

结果:

  • a. 详细的实验设置:
    • 本文未提及实验设置。
  • b. 详细的实验结果:
    • 该自主无人机系统成功避开了从不同方向投掷的四个球。无人机与球之间的距离约为5米,球投掷后的速度约为5米/秒。该系统使用价格较低的传感器实现了令人满意的感知精度,相比使用事件相机的其他工作。运动规划方法在时间和能量成本方面表现出更好的安全性和最优性,同时仍能执行导航任务。然而,与相机的视野相关的一些故障情况存在。如果球飞出相机的视野,跟踪将失败。尽管如此,由于球在视野之外,它没有与无人机发生碰撞。未来的工作可以通过增加更多相机来扩大视野,并增强在不同光照条件下的感知鲁棒性。

2.名词解析

  • RGB-D(RGB+Depth)相机

    • 1、深度图(Depth Texture)定义

      深度图就是从图像采集器到场景中各点的距离(深度)作为像素值的图像。
      下图右侧两栏图像就是我们说的深度图。

    • 2、RGB-D定义

      RGB-D=RGB+D(Depth Map)
      如果我们严格的定义深度图,那么应该是纯深度的图。但好多地方都把深度图和RGB-D感念当作同一个了

    • 3、深度图相机和RGBD相机的区别

      深度相机就是能够直接输出深度的相机,或者是能够通过软件间接计算出深度,或者通过物理方法直接测量深度。
      RGBD相机就是特指通过物理方式测距的。得到的是RGB图+深度图。

      深度相机的分类:

      • 单目结构光:有一个发射器,一个接收器
      • 双目结构光:一个发射器,两个接收器,得到是两个红外图

      RGBD相机的分类:

      • 一类是结构光法,比如Kinect v1、Iphone X;

        结构光法是为了解决双目匹配问题产生的,解决对环境光照敏感问题,是红外光,晚上也可以用,不依赖光照和纹理。
        其中Kinect v1是最早的结构光法,是以色列的PrimeSense公司,后来被苹果收购了,用于Iphone X,人脸解锁非常稳定。在空间上的分辨率是3mm,深度上的分辨率是1cm。(2m距离)

      • 一类是飞行时间(ToF)法,比如Kinect v2、Phab 2 Pro。
        飞行时间法就是发射一束光脉冲(一般为不可见光),然后经过物体反射回去,再接收到光脉冲。通过探测飞行的这段时间来计算被测物体离相机的距离。
        TOF的测量精度不会随着测量距离的增大而降低,而且抗干扰能力比较强,适合测量距离要求比较远的场合,比如无人驾驶、AR等等。但是他的功耗比较大,分辨率较低、深度图的质量较差。

    • 4、RGB-D相机的问题

      深黑色物体的影响:

      白光中存在光的互补,即:黄光和蓝光经过一定比例进行混合会得到白光。而物体对光的选择性吸收决定了物体本身的颜色。比如一束白光经过一个溶液,溶液吸收掉黄光,那么透出溶液的就是蓝光,溶液表现的颜色也就是蓝色。深黑色物体可以吸收大量的红外光所以会导致测量不准,这就使接收到的红外光很少。

      表面光滑物体的影响:

      漫反射是多个角度清晰成像的基础
      镜面反射容易发生过曝光和欠曝光,比如金属表面、反光表面等

      image-20230628223356768

      (半)透明物体的影响:

      半透明物体会经过两次反射,如果是透明物体,就会直接穿过了,导致深度测量不准。

      image-20230628223551597

      玻璃透射导致接收不到红外光。

      视差的影响:

      结构光深度相机的红外发射端和接收端有一定的距离,因此在物体的边缘有明显视差。

      总结:

      • 不适合室外使用
      • 受到深黑色物体、半透明物体、镜面反射物体、视差的影响
      • 功耗大
      • 分辨率比较低
      • 深度图质量和硬件关系密切
      • 成本较高,比双目相机贵

      改进:

      使用球体对rgb-d相机进行实用且准确的校准

  • Yolo-Fast

介绍:

基于Yolo的低功耗,超轻量级通用目标检测算法,参数仅为250k,智能手机移动终端的速度可以达到300fps

实现:

(72条消息) 全网最最最轻量级检测网络 yolo-fastest 快速上手_Lebhoryi的博客-CSDN博客

对比:

Network mAPval 0.5 mAPval 0.5:0.95 Resolution Run Time(4xCore) Run Time(1xCore) Params(M)
yolov5s 56.8% 37.4% 640X640 395.31ms 1139.16ms 7.2M
yolov6n - 30.8% 416X416 109.24ms 445.44ms 4.3M
yolox-nano - 25.8% 416X416 76.31ms 191.16ms 0.91M
nanodet_m - 20.6% 320X320 49.24ms 160.35ms 0.95M
yolo-fastestv1.1 24.40% - 320X320 26.60ms 75.74ms 0.35M
yolo-fastestv2 24.10% - 352X352 23.8ms 68.9ms 0.25M
FastestDet 25.3% 13.0% 352X352 23.51ms 70.62ms 0.24M

开源地址:
dog-qiuqiu/Yolo-Fastest: :zap: (github.com)

dog-qiuqiu/Yolo-FastestV2: (github.com)

dog-qiuqiu/FastestDet: :zap:(github.com)

3.演示视频

4.卡尔曼滤波和粒子滤波

理解:

(70条消息) SLAM–卡尔曼滤波、粒子滤波_卡尔曼滤波和粒子滤波_机器人学渣的博客-CSDN博客

(70条消息) 关于卡尔曼滤波和粒子滤波最直白的解释_粒子滤波和卡尔曼滤波区别_karen99的博客-CSDN博客

(70条消息) 从卡尔曼滤波到粒子滤波 很详细,很明了。。_kalman 滤波_learn deep learning的博客-CSDN博客

SLAM算法工程师之路:运动状态估计之卡尔曼滤波详解 - 知乎 (zhihu.com)

实现:

(70条消息) 卡尔曼滤波原理_【机器人位置估计】卡尔曼滤波的原理与实现_weixin_39561673的博客-CSDN博客

参考博客:

(61条消息) RGBD相机的介绍和使用_骑驴去学习的博客-CSDN博客

深度/RGB-D相机简介_哔哩哔哩_bilibili

Yolo-FastestV2:更快,更轻,移动端可达300FPS,参数量仅250k - 知乎 (zhihu.com)

参考代码:

论文代码:arclab-hku/fast-dodging: dodging fast small moving objects with RGBD sensor (github.com)

yolo-ros实现:leggedrobotics/darknet_ros: YOLO ROS: Real-Time Object Detection for ROS (github.com)

yolo-fast2升级版:dog-qiuqiu/FastestDet: :zap:(github.com)

5.环境

带补充