PlaneSegNet: A deep learning network with plane attention for plant point cloud segmentation in agricultural environments
参考资料
引言
- 为了植物表型测定 -> 三维 LiDAR 技术 -> 分离植物点与非植物点
- 传统地面分割方法依赖样本的几何特征, 且对参数设置高度敏感, 需要大量人工调参
- 深度学习方法依赖于点云采样策略
- 稀疏卷积网络分离植物与非植物边界模糊
- 既然人都能通过多视图投影区分植物与非植物, 那么为什么模型不能呢 -> 设计平面注意力机制, 通过 XZ 与 YZ 平面的投影引导融合增强空间特征
数据集与方法
数据集
大田群体点云数据 -> 对复杂农业场景的适应性
- 采集了沈阳农业大学试验农场 4 种种植密度, 4 个关键生育期的玉米群体点云, 通过 FARO 地面激光扫描仪完成数据采集, 后续做了体素下采样处理, 并通过人工标注将非植物点标为 0 类, 植物点标为 1 类
- 16 组玉米群体点云按图示上下均分为两部分, 上半区用于训练, 下半区专门用于测试, 在训练区域内随机裁剪 4m×4m 的子区域, 选取共 200 个样本并按 9:1 划分为训练集与验证集, 另外 4 组外部公开玉米数据集不参与训练, 仅用于测试模型的跨数据源, 跨品种泛化能力
- 采用随机丢弃, 随机旋转, 随机缩放, 随机翻转, 随机抖动, 弹性畸变, 球形裁剪7种数据增强策略
- 总计使用 20 组玉米群体点云样本, 覆盖了不同种植密度, 生育期, 数据源, 采集方式, 为模型的全面评估提供了坚实基础
温室群体点云数据 -> 可控环境下的跨物种泛化能力
- 采用公开的 Crop3D 温室数据集, 包含玉米, 油菜, 马铃薯三类盆栽作物, 同时还有机械结构, 地面杂草等复杂背景元素
- 沿用原数据集的划分方式, 35个样本用于训练, 15个样本用于测试
乡村机载激光雷达点云数据 -> 高噪声大尺度场景下的鲁棒性
- 采用 DALES 公开基准数据集, 由美国俄亥俄州代顿地区的机载激光扫描仪采集, 覆盖范围约 10 平方千米, 包含超 5.05 亿个点, 每个点被标注为 8 个语义类别, 是大规模户外场景的权威基准数据集
- 相比大田和温室数据集, 该数据集空间覆盖更广, 地形起伏更大, 背景噪声水平更高, 用于严苛检验 PlaneSegNet 在大规模点云分割场景中的稳定性与鲁棒性
方法
- 以编码器 - 解码器 (UNet) 架构为基础, 融入平面注意力模块提升边界分割精度
网络架构
- 将农业点云转换为带三维坐标与法向量的格式, 通过体素化把非结构化点云转为规则的稀疏体素栅格, 同时保留索引映射, 确保分割结果能反向投影回原始点云
- 先通过核尺寸 5×5×5 的子流形稀疏卷积层提取局部几何特征, 再由多个下采样层 + 平面块组成, 下采样采用稀疏卷积, 逐步将空间分辨率减半, 提升特征维度, 每个下采样操作后均接入平面块, 实现深层几何特征的增强提取
- 由多个上采样层+平面块组成, 上采样通过稀疏逆卷积恢复空间分辨率, 同时融合编码器中相同空间分辨率的多尺度特征, 特征拼接后送入平面块做进一步增强, 优化几何特征模糊区域的分割效果
- 通过 1×1×1 的子流形稀疏卷积层生成体素级的语义类别概率分布, 区分植物与非植物两类, 再利用体素化过程中建立的索引映射, 将体素级分割结果反向投影到原始点云, 得到点级的语义分割结果
平面注意力
- 先通过子流形稀疏卷积提取三维体素的局部几何特征, 再将体素栅格投影到 XZ, YZ 两个垂直平面, 构建平面注意力图, 通过均值池化将三维特征聚合到对应的二维平面位置, 随后将二维投影特征对齐恢复到三维体素空间, 与原始三维特征拼接融合, 最后通过两层 MLP 完成特征降维, 加入残差连接输出增强后的特征
损失函数
- 采用交叉熵损失作为模型的核心优化目标, 用于衡量预测分布与真实标签分布之间的差异, 可同时适配植物 / 非植物二分类任务, 以及 DALES 数据集的 8 类别多分类任务
- 所有模型训练均在搭载 NVIDIA RTX A6000 GPU 与 128GB 内存的工作站完成, 优化器采用 AdamW, 初始学习率设置为 0.006, 搭配融合余弦退火策略的 OneCycleLR 学习率调度器, 模型训练轮次为 100 轮, 确保参数优化到最优状态
评价指标
- 采用交并比 (IoU) 与 F1 分数作为核心指标, 定量评估模型在各类数据集与场景中的整体分割性能
- 提出基于高度的层级化评估方法, 以植物点沿 Z 轴的最低高度为基准, 以 0.05m 为步长划分 6 个垂直层, 单独评估植物与非植物边界区域的分割精度
结果
- 与 3 类传统几何方法 (Grid Ground, RANSAC, CSF) , 3 类主流深度学习模型 (PointNet++, PointCNN, RandLANet) 对比, 所有传统方法均通过网格搜索确定最优参数
大田植物群体的分割结果
- 最优
- 越接近边界区域越明显
- 尽管 PlaneSegNet 的参数量 (57.28M) 远大于对比模型, 但算子的结构化设计与高并行度实现, 使得模型推理达到每 0.23 秒一场景
温室环境中的分割结果
- 最优
乡村机载激光雷达点云数据的分割结果
- 最优
消融实验
- 通过 6 组基于稀疏 3D U-Net 骨干的变体模型对比, 验证平面注意力模块, 以及不同平面投影聚合对分割精度 (尤其是边界区域) 的贡献
- 各模型的整体 IoU 与 F1 分数差异极小, 核心原因是植物与非植物的边界区域在整个点云中占比极低, 全局指标无法体现边界区域的性能差异
- 边界区域性能结果
- 仅加入XY平面投影, 不仅没有提升边界性能, 反而出现了轻微下降, 因为 XY 地平面视图易受背景杂波干扰, 能提供的判别性信息极少
- 单加入 XZ 或 YZ 平面投影, 模型在所有高度层的边界性能均有提升, 且两个单平面变体的性能十分接近, 证明这两个垂直平面对几何特征提取具备互补性
- 同时加入 XY+XZ+YZ 三平面的模型, 性能低于 XZ+YZ 双平面设计, 因为 XY 平面的信息会稀释垂直平面对植物 / 非植物过渡区的关键判别线索
- 融合 XZ+YZ 双平面的 PlaneSegNet, 在所有高度层均实现了最高精度, 最贴近边界的 0.05m, 0.10m 层 mIoU 显著领先其他所有变体
讨论
PlaneSegNet架构的优势
- 比传统显著强
- 比基于点的模型微微强 (边界显著强), 显著快
在 DALES 数据集上的几何感知泛化能力
- 在 DALES 多类别基准数据集上, 相比稀疏 3D U-Net 基线模型, 整体 mIoU 提升了 2.9%
- 类别越依赖垂直结构特征, 提升越明显
稀疏地面场景下的性能表现
- 作物生育后期冠层高度闭合, 地面点稀疏不连续, 使用前期训练好的模型权重零微调直接测试, 验证模型在极端场景下的泛化能力
- 基于点的模型 (PointNet++, PointCNN, RandLANet) 基本无法恢复地面类别, 地面 IoU 几乎为 0, 基于体素的稀疏 3D U-Net 表现出一定韧性, 地面 IoU 达到 0.6613, 而 PlaneSegNet 实现了近乎完美的性能, 地面 IoU 达到 0.9774, 植物 IoU 达到 0.9984, 大幅优于所有基线模型
旋转扰动对分割性能的影响
- 模拟真实农业场景中传感器倾斜, 安装误差的实际情况, 对大田玉米点云施加围绕 X, Y 轴 5 度, 10 度, 15 度的旋转
- PlaneSegNet 的边界区域分割精度仅出现小幅下降, 且始终保持比稀疏 3D U-Net 基线更高的 mIoU, 同时持续优于 PointNet++, RandLANet 等模型
在自动化植物表型测定中的应用潜力
- 跨数据来源 (什么设备出的)
- 跨作物类型
- 可部署性与可扩展性极强
局限性
- 模型基于监督学习构建, 需要高质量的标注点云, 但目前群体级农业数据集仍缺乏标准化的标注协议, 复杂农业环境中人工标注的成本高, 主观性强, 限制了模型的大规模部署与泛化能力
- 尽管模型采用稀疏体素卷积提升了效率, 但在处理城市级机载激光雷达, 超大面积农田无人机重建点云等超大规模数据时, 仍可能面临内存与推理速度的限制, 分块推理的解决方案会引入边界不连续, 拼接伪影的问题, 未来需要聚焦高效的场景划分方法, 块间特征一致性保持策略, 以及轻量化网络架构, 进一步提升模型的可扩展性与部署可行性