精准农业自主微型无人机面临的挑战和机遇

摘要

移动机器人，如无人地面车辆（ugv）和无人飞行器（uav）越来越多地用于精确农业。虽然ugv具有更大的有效载荷能力和更长的操作时间，但它们被限制在二维空间内。这使得无人机更适合于需要快速覆盖、恶劣地形穿越和高空或多级操作的任务。然而，开发一种可靠且完全自主的无人机系统，能够在大规模杂乱的农业环境中主动提取可操作的信息，仍然是一项具有挑战性的任务。这样的系统必须估计自己的姿态，绘制环境地图，导航通过障碍，并在有限的车载计算和电池寿命的情况下收集信息。在这项调查中，我们首先回顾了无人机硬件和软件的最新进展，从新的平台和传感器到最先进的自主导航、目标检测和分割、机器人定位和与农业相关的映射算法。然后，我们提供了每个领域的挑战列表和在精密农业中更广泛地采用无人机的潜在机会。

介绍

世界正面临着一个独特的非常具有挑战性的问题组合1：有超过7亿营养不良的人；大多数可耕种的土地已经在使用；农业占淡水使用量的70%以上；病原体会增加农业的低效率和损失；现代农业需要适应与气候变化相关的挑战。虽然人类擅长在相对较小的规模上进行科学评估（例如，测量大小、识别物种、虫害或调查对根系/土壤的损害），但在大规模上准确地进行此类评估仍然具有挑战性。例如，数据收集占森林管理支出的很大一部分，但却是以一种涉及人类劳动的基本方式进行的。机器人技术、人工智能和农业技术的发展和交叉融合将产生巨大的影响。

目前已有许多针对精准农业的商业解决方案，包括基于卫星、基于UGV和基于无人机的技术。虽然无人地面车辆（ugv）在运行时间和有效载荷能力方面有优势，但它们也有内在的局限性。首先，地面机器人只能从靠近地面或从靠近地面的角度看到感兴趣的物体，从而减少了收集的信息量。其次，地面机器人不能穿越农业环境（水稻农场、梯田农场和森林）中常见的陡峭地形。最后，ugv无法快速调查大型农田。

最近，我们看到了重量小于5公斤的无人机（uav）的显著进步。无人机可以在3d环境中快速盘旋和飞行。它们在产量估算、作物施肥和作物监测的精密农业中越来越流行。然而，大多数应用程序都专注于通过广泛开放空间的空中飞行。这极大地简化了操作，但树冠上的数据严重限制了测量的可能性。例如，很难评估单个水果的大小和健康状况，也很难仅从头顶上的数据来测量树木的直径。

能够进行树冠下飞行的无人机可以解决这些问题。冠下无人机可以在覆盖率和传感器分辨率之间实现良好的权衡，同时保持劳动力成本适中。然而，开发一种能够在大规模、多高度、树木之间甚至在树冠下运行的自主无人机系统仍然非常具有挑战性：首先，全球定位系统（GPS）并不总是可靠的。其次，环境是非常非结构化和动态的（例如，树叶或草在风吹），这对依赖于静态几何特征的机器人测速系统带来了重大挑战。第三，环境中有许多小物体，这需要一个非常精确和密集的映射系统。

无人机硬件和自主性

在过去的十年里，无人机已经取得了巨大的进步，无人机可以在复杂的感官和计算有效载荷下运行，尽管有严格的功率限制。今天，用于农业应用的无人机技术可以作为商业产品使用。然而，这些解决方案侧重于相对不那么复杂的任务，比如使用GPS的高空飞行。尽管有商业无人机系统可以在混乱的环境下执行全自动飞行，但如果需要远程操作，大多数无人机系统仍然严重依赖GPS。此外，它们并不是为了在复杂的农业环境中完成高级任务，比如构建大规模的高分辨率语义地图。

无人机平台与自主

无人机的自主堆栈通常由状态估计、规划和控制模块组成，如图3所示。任务的目标和环境的属性，如规模、结构、中心性和访问GPS，对每个模块的设计有重大影响，直接影响到机载计算和传感器平台。图2显示了各种平台，这些平台被用于演示安全、高速飞行（2-10 m/s），在中等混乱的环境中，没有人类监督、GPS或长达1公里的无线电通信。

在Mohta等。7的工作，立体视觉惯性测程（VIO）算法用于状态估计，二维光检测和测距（激光雷达）安装在点头万向节用于映射和避障，和基于搜索的运动计划用于运动原语计划无碰撞和动态可行的轨迹。奥列尼科娃等人提出了一种基于视觉的自主飞行系统，用于gps拒绝场景下的密集映射。该系统可以在结构化和中等非结构化的环境中导航，如倒塌的建筑。虽然该系统在模拟森林环境中进行了测试，但没有对这种高度非结构化环境的真实实验。采用保守的局部规划策略，将未观测空间视为非自由空间，这可能限制了飞行速度和局部规划的最优性。田等人提出了一种多架无人机在森林冠层下的协同测绘系统。一个二维激光雷达用于状态估计和映射。提出了一种具有循环闭包能力的协同同步定位和映射（SLAM）方案，即通过检测树并将树作为地标来建立基于对象的地图。这种表示法显著降低了机器人和基站之间的通信带宽。然而，所提出的基于聚类和过滤的树检测方法可能无法可靠地检测具有厚灌木丛或小枝的大规模复杂森林的树木。此外，无人机在三维环境中运行，大部分空间将不会被二维体固定激光雷达观察到。这些系统的一个常见限制是，它们不能在复杂的农业环境中执行远程（几公里）的任务，如图1所示。此外，它们也没有能力实时和大规模地检测和建模感兴趣的对象，如水果或树木，这对于指导机器人规划信息更丰富的轨迹很重要。

传感器配置

由于有效载荷能力有限，无人机中的传感器具有双重用途：它们既用于自主，也用于收集特定任务的数据。无人机最常用的传感器包括：相机、imu、激光雷达和全球导航卫星系统（GNSS）。因为多旋翼无人机消耗约100-200W/公斤，9个轻型传感器自然可以实现更长的任务。

摄像头和imu提供了一个轻型低功耗传感器的导航和避障组合。为了导航目的，相机和imu可以在gps拒绝的条件下提供快速的测程更新。然而，相机存在尺度模糊、校准要求高、动态范围有限、计算要求高等内在缺点。例如，立体相机的有限的基线对深度误差有直接的影响。阳光直射或黑暗会影响照相机的性能。例如，穿过树冠的阳光会在地面上产生斑点，很难调整曝光。其中一些问题可以通过使用基于事件的相机来解决，但它们比传统相机更重、更昂贵。

三维激光雷达为自主机器人平台提供了丰富的信息，能够感知几十到几百米远的物体。这使得它们成为在非常杂乱的环境中或需要精确测量时高速避障飞行的必要传感器。尽管仍然很昂贵，但3d激光雷达的价格近年来已经大幅下降，而基于激光雷达的算法是一个快速增长的研究领域。不幸的是，传感器的重量仍然相当大。固态激光雷达用半导体取代了传统激光雷达的移动部分，在鲁棒性、重量和功耗方面可能比当前的技术有显著的改进。

相机和激光雷达都有其独特的优势，它们的结合提供了传感器的不同能力之间的良好平衡。对于这种方法，在满足尺寸和重量约束以及传感器同步和校准方面将存在挑战。

最后，GPS和GPS等GNSS传感器允许机器人获得地理空间定位。这些传感器价格低廉，其精度可高达1米。然而，如果接收器和卫星之间存在障碍物，GNSS的精度就会降低，这是树间或冠下环境的情况。使用地面站对GNSS的增强，如差分GPS（DGPS）和实时运动学（RTK），允许提高精度到厘米范围。当使用修正时，需要在无人机和基站之间建立一个无线电连接。后处理技术，如后处理运动学（PPK），可以帮助在基站和机器人之间没有可用的连接时获得准确的测量，但它不能用于实时控制。由于这些原因，一个不依赖GPS的可靠的机载状态估计系统是精密农业无人机的关键。

挑战

众所周知，像细树枝这样的障碍很难被发现，但如果不能避免它们，将导致灾难性的崩溃。一个明显的解决方案是提高板载传感器的分辨率。Kong等人11提出了一种全自动四旋翼系统，具有前置固态激光雷达，可以在杂乱的环境中安全飞行，同时避开小障碍物。通过将激光雷达光束聚焦到前方，传感器有效地获得了分辨率，但代价是由一个具有较低分辨率的旋转激光雷达提供的全360度空间感知。由于无人机通常的有效载荷和机载计算有限，这个问题不能通过在不牺牲飞行时间的情况下增加更多的传感器来解决。在设计这类系统时，应仔细研究传感能力和功耗之间的权衡。

更小的无人机更安全，能够通过更窄的间隙飞行，更灵活，更容易部署。尽管市场上有小型和轻型无人机，但它们的自主堆栈能力、计算能力和数据存储，用于在gps拒绝的条件下执行大规模自主任务仍然有限。

由于计算需求，运行板载深度学习检测器尤其具有挑战性。虽然一些数据可能会经过后处理，但当在机器人控制回路中使用深度学习时，可能需要在边缘进行推理。网络离散化12和人工智能加速器，如特定应用的集成电路（asic）13和嵌入式通用图形处理单元（gpgpu）可能是无人机上密集机器学习的关键。

需要一个友好和直观的用户界面来普及对复杂的农业无人机系统的访问，而将这种复杂性抽象给用户是具有挑战性的。当无人机试图在一个新的环境中操作时，无人机通常需要从有知识的用户那里进行调整和配置。

目标检测和分割

目标检测和语义分割对于精确的农业至关重要，因为可操作的信息通常与语义特征，如水果或树木，或表型数据有关。在本节中，我们将回顾基于二维图像和三维激光雷达数据来获得语义特征的方法。

Image-Based (2-D)

各种成像技术，包括RGB图像、多光谱图像和超频谱图像、热成像和近红外图像，已被用于农业应用，如图像分类、异常检测和产量估计。

早期的尝试使用经典的机器学习方法，如K-means聚类和支持向量机，以解决与农业相关的目标检测和分割问题，使用手工制作的特征。后来的努力转向了数据驱动的范式，4,14被深度学习的巨大进步加速了。这些技术也被用于与农业相关的任务，如杂草检测、植物胁迫评估、叶面积指数评价、土壤分割或水分分布建模。我们建议读者参考最近关于这个主题的调查。

LIDAR-Based (3-D)

目标检测最常用的三维表示包括体素网格、点云、多视图和球形图像。

体积卷积神经网络（CNNs）将数据表示为三维占用网格，并直接将三维卷积应用于这种表示。基于多视图的方法将不同视角的三维数据投影为二维图像，然后可以输入现有的基于图像的cnn。然而，投影过程对噪声或不完全输入很敏感，体素化过程会导致信息丢失。因此，一些人认为直接使用点云会更好。其他方法也结合了二维多视图和三维点云表示。解决这个问题的另一个方法是将每个激光雷达扫描的范围数据投影到一个球形图像（即范围图像）中，这也可以利用现有的基于图像的cnn，同时避免信息丢失。为了获得进一步的参考，我们请读者参考郭等人最近的一篇调查论文。

这些技术在农业上的应用是一个相对较新的研究领域。最近的一些工作使用聚类、滤波、圆拟合和电弧提取等方法来检测树木。6然而，它们的性能是参数敏感的，这需要专家知识来调整。因此，对于大规模复杂的农业环境，数据驱动的方法是首选的方法。例如，Chen等人3使用了一种数据驱动的方法，使用激光雷达范围的图像从点云中检测树。

挑战

访问大型高质量的标记数据集仍然是一个重大挑战。虽然在公共领域存在许多有标记的数据集，但很少有是农业特有的。17,18迁移学习可用于使根据一般数据集训练的模型适应农业环境。4.另一种方法是利用合成数据集。然而，所谓的模拟到真实的差距仍然相当重要。最后，对于产量估计等任务，获取准确的地面真实收获数据仍然是劳动密集型和时间依赖的。

遮挡对果园的产量估计和语义映射提出了巨大的挑战。简单的统计工具，如线性回归，可以用来解释估计的产量和实际产量之间的差异。然而，这些校准程序是有限的，因为它们需要存在以前的收获产量数据。处理严重遮挡的可能解决方案包括聚合从多个视图和多个传感器的信息，或利用机器人操纵器有效地暴露被遮挡的物体。

机器人定位与映射

传统的定位和映射

机器人定位映射是自主导航系统的关键模块。映射是随着时间的推移将一个或多个传感器的读数累积到机器人代理观察到的空间表示中。代理也可能被要求估计其相对于该地图的位置。传统的方法依靠几何特征（拐角、线和平面）来解决这个问题。平面和线条的特征很难找到。角落的特征是重复的，难以匹配，有时是动态的（例如，草地上的角落或灌木随着风移动），这导致大的漂移，甚至机器人定位失败。解决这些问题的一个潜在解决方案是利用有关该领域结构的语义或先验知识。

语义定位和映射

语义特征的重要性有两方面：首先，它们允许我们生成一个由感兴趣对象的模型所表示的有意义的地图；其次，它们使机器人的姿态估计更加可靠。语义对象更稀疏，更明确，因此也不太容易出现不匹配，而语义信息可以表明该对象是否是静态的。

对于与农业相关的定位和映射，之前的一些工作也利用了语义信息。例如，尽管树看起来彼此非常相似，但与角特征相比，它们要稀疏得多。因此，它更容易跟踪他们跨一个数据序列（例如，图像帧，激光雷达扫描）。此外，语义特征之间的空间关系，如由多棵树形成的多边形，也可以作为局部区域的描述符。这些描述符可以用来帮助机器人纠正漂移，检测循环闭合，并建立一个更好的长期地图。

语义激光雷达测程和映射（SLOAM）由Chen等人提出，3生成高分辨率森林地图并提取木材体积估计数。SLOAM使用神经网络检测树木和地面，并明确地对它们进行建模。这些模型用于映射和状态估计。

Liu等人提出了一种基于单眼相机的cnn系统，该系统从图像序列中计数和绘制水果20，其中重建的三维水果位置用于拒绝在二维图像中无法识别的异常值。Dong等人利用21利用树干和地面等语义信息对齐和合并树行两侧的视图。Chebrolu等22利用语义数据增强经典特征，利用分割作物、杂草和茎位置，以改善正骨地图和从地面机器人捕获的图像之间的数据关联。

Challenges

与城市环境相比，农业环境对机器人的定位和测绘能力提出了额外的挑战，特别是在更大的规模上。典型的城市环境中有大量的人造物体，它们具有明确的几何、视觉和语义特征。这些特性使最先进的SLAM算法能够产生高质量的地图，从而允许精确的机器人定位。然而，这些特征在农业环境中是罕见的。例如，在茂密的森林或果园中，许多树木都有相似的纹理和形状，这就导致了视觉和激光雷达传感器的感知混叠。如果不仔细处理，它们将导致不正确的数据关联，并导致估计器漂移，甚至完全失败。

我们设想，在未来，自主无人机将对精准农业产生巨大影响，能够在大规模复杂环境中快速获取信息。

语义映射包括在几何映射中添加语义概念。构建语义映射是朝着更有效的、基于任务的人类交互表示迈出的重要一步。此外，它还产生了一个层次地图表示，其中顶层只包含稀疏的语义信息进行动作指导，并且可以围绕机器人构建一个较小的几何地图，用于局部运动规划和避障。这促进了在资源约束机器人上的自主操作的实时计算。

主动映射是机器人基于其传感器测量模型主动选择动作以减少地图中的不确定性的过程。然而，这种方法很难直接应用于规模大、信息分布密集的农业环境。一个可能的解决方案是利用语义映射，因为它通常比度量映射更稀疏。这反过来又需要测量模型能够以有意义和有效的方式解释语义信息中的不确定性。

结论

我们设想，未来，自主无人机将在精准农业中产生巨大影响，能够在大规模复杂环境中快速获取信息。在本调查中，我们总结了无人机硬件和软件的最新进展，并强调了无人机在精密农业中普遍采用的挑战和机遇。我们希望这项工作能为学术和工业方面的努力提供一个路线图，如美国国家科学基金会精密农业物联网工程研究中心。

参考

https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=9705188

这篇好文章是转载于：学新通技术网