华为自研的激光雷达,究竟靠不靠谱? 硬件,只听官方说,没见哪家测。 软件算法,则低调拿到两项世界冠军。 SemanticKITTI和nuScenes,全球两个重量级激光雷达语义分割测试集,检验算法的重要基准…… 刚刚,华为旗下诺亚方舟实验室的激光雷达语义分割算法AF2S3Net,成功刷榜,实现双料第一。 而此时,距离华为发布自研激光雷达,不过10天左右。 华为诺亚如何刷榜? SemanticKITTI 和nuScenes lidarseg,目前全世界范围内最有影响力的两个激光雷达点云语义分割数据集,其中SemanticKITTI上的参赛队伍有100多家。 之前但凡证明自己自动驾驶技术实力的玩家,都免不了跑一跑。 现在,“不造车”但搞智能汽车方案的华为,也拉出自家算法试了试。 华为诺亚实验室出品,结果如下: Semantic KITTI 测试数据集结果 头一个就是华为诺亚的算法,刷新纪录,夺得第一。 在Semantic KITTI测试结果中,如行人、自行车、交通牌等小物体分割效果,也优于其他参赛选手——这些都是衡量感知能力的重要指标。 同样地,在下面的表中也可以看出该网络模型相对于基准模型对小物体或小众类的分割效果更佳。 nuScenes测试集结果 下图为nuScenes测试集可视化结果,第三列为华为诺亚实验室AF2S3Net: 两项结果能说明啥? AF2S3Net这个算法,在多任务和多数据集中,能更加有效地捕捉到点云的几何特征信息。 刷榜算法能起什么作用? 激光雷达,目前绝大多数自动驾驶方案绕不过去的一环。 而其中的语义分割任务,可以看作是自动驾驶的基石。 精确的分割结果可以辅助包括物体识别、碰撞预测与路径规划等高级别感知和规控任务。 语义分割不新鲜,平面的图像识别算法中,语义分割已经很成熟了。 但是对于雷达回波的3D成像来说,语义分割之前一直有一个迈不过去的坎: 自动驾驶环境只有稀疏点云的3D位置及其反射强度信号,直接在这类稀疏且缺少特征的数据上进行语义分割非常困难。 为了解决这个问题,华为诺亚实验室认知车联网项目团队自述,专门开发了一套3D稀疏卷积神经网络框架Attentive Feature Fusion with Adaptive Feature Selection for Sparse Semantic Segmentation Network*(基于主动特征融合与自适应特征选择的稀疏点云语义分割网络)*。 AF2S3Net的核心模块是主动特征融合模块(下图左上角)。这一部分利用多分枝的结构对多层感受野进行投票以及线性融合。 模块中较小感受野的分支更深,作用是捕捉最近的相邻点云之间的细粒度特征。 下图表示了特征融合模块在具体场景下的运行原理: 其中α, β, γ分别为三个分支的权重掩码,其中较深的分支负责细粒度的小场景物体捕获,如行人、交通灯等,浅层分支负责粗粒度的大场景前后文环境如路面、墙面以及人行道。 特征融合模块的处理结果,被输入自适应特征选择模块。 其中,压缩调权网络(Squeeze Reweight)将当前特征列通过一个全连接网络进行压缩和还原,并对当前稀疏张量中的每一个特征列向量进行重新投票,从而实现特征过滤。 当然,现在还不知道华为诺亚实验室的算法,什么时候会投入实战。 不过,相关论文已经投稿CVPR 2021。 软件算法有证明,硬件何时交货? 96线激光雷达,华为不久前刚刚官宣的首款产品。 华为自述有如下特点: 大视野120°×25°,应对城区、高速等场景的人、车测距诉求 全视野中,水平、垂直线束均匀分布,不存在拼接、抖动等情况,形成稳 定的点云对后端感知算法非常友好 小体积,适合前装量产车型需求 可以解决中国城区、高速驾驶场景中的检测挑战,让车具有这些复杂场景下的快速感知能力。 最主要的是,华为强调这是一款符合车规级要求的激光雷达产品,过程中设计了高可靠性的电机,能满足高低温湿热,水压、振动、盐雾、人眼安全、EMC(电磁兼容)、碎石冲击等场景…… 此外,价格方面还喊话降到千元以内。 而配合现在的软件算法,又让人多了几分期待。 但目前,华为激光雷达再好,也都是听过“看”过,却没有哪家厂商真正实测、给出评价过。 相比国产其他玩家,如禾赛、速腾聚创,以及刚刚官宣小鹏合作的大疆DJI子公司…… 华为激光雷达还停留在PPT上。 不过似乎也不用着急,因为北汽新能源高端品牌“ARCFOX”极狐,之前有剧透将在今年发布新车——首发搭载华为激光雷达产品。 到时候一上车就是3个96线激光雷达配置的方案。 是骡子是马,那时候就能见分晓。 同济校友杰作 最后,介绍下此次华为刷榜算法的大神。 程冉,目前是华为诺亚方舟实验室(多伦多)的研发工程师,本次研究的第一作者。 主要研究方向为激光雷达语义分割和场景完成算法。 程冉本科学于同济大学软件工程专业,后在加拿大麦吉尔大学取得硕士学位,研究方向是智能机器人、机器人视觉和神经识别。2019年7月,毕业即被华为诺亚实验室揽入麾下。 除了上面介绍的AF2S3Net,程冉还有另一项成果S3CNet,是语义场景完成算法,目前在SemanticKITTI相关榜单中排名也是第一。 所以华为之强,实在是招揽到了各个领域最强的人才~ |