4D毫米波雷达技术从4D，成像到融合的发展

4D毫米波雷达技术从4D，成像到融合的发展

1. 毫米波雷达的发展

毫米波雷达从德国大陆集团在1999年研发的第一代雷达开始，到现在已经是第六代了，而且视野开阔且具备前瞻性的雷达企业也在布局第七代毫米波雷达的研发工作。

二十多年来，毫米波雷达的发展主要在如下三个方面取得进步：

（1）体积逐渐变小；

（2）半导体工艺更先进、从砷化镓到锗硅，再到硅，信号处理与射频前端（RF）全集成，集成度更高、精度更高；

（3）成本更低、应用更多、产量更大。

图1 毫米波雷达发展

第五代雷达初步具备垂直测角（高度）功能，点云如下图所示，但还不是完全意义上的4D成像雷达，但可以看作是4D毫米波雷达。想要成为4D成像雷达，需要高分辨的点云。

图2 第五代雷达点云效果

德国大陆集团第六代毫米波雷达ARS620，采用4T4R雷达，单芯片集成射频和信号处理，对摩托车250米最大检测距离，具备稠密的点云，近距离角度FOV±60°，目前该雷达还没有量产，正处于样机研制阶段，估计很快就会量产上市。

图3 大陆雷达ARS620点云

2、4D毫米波成像雷达

4D毫米波成像雷达的核心是高分辨，即可以区分邻近物体、勾勒目标大致轮廓，并准确对目标进行分类和识别，其基本功能包含测距、测速、测角、测高。

图4 雷达目标识别

高分辨的核心是高分辨距离和高分辨角度，高分辨距离可以通过高带宽解决，比较容易，但是高分辨角度则需要增加天线孔径，采用合理的芯片级联、天线布局、波形设计、链路预算，以及DOA超分辨算法统筹实现。为什么雷达企业都在卷角度分辨率，我认为其实最重要的原因是实现高距离分辨率不难，难点在于实现高角度分辨率，这是4D毫米波成像雷达的核心。

高密度点云以及高稳定度点云是实现雷达点云识别的基础，对于同一个目标，我们希望雷达探测到的点云数量越多越好，最好能够描述出目标的轮廓，这样对于目标识别是有好处的。但是实际上，雷达并不会按照这样的方式工作，雷达总是会存在很多问题，如点云闪烁、点云数量随目标距离而变化、点云RCS变化等问题，从而得到的目标点云其实是不稳定的。

图5 高密度点云

3、4D毫米波成像雷达架构

4D毫米波成像雷达是在现有的毫米波雷达、4D毫米波雷达基础上，在硬件、软件和算法上大幅度升级而形成的产品。

（1）射频硬件部分

大多数雷达厂家采用两片芯片级联（6T8R）、四片芯片级联（12T16R）、六片芯片级联（12T24R）、八芯片级联（24T32R）的方案。天线布局方案各有讲究。

图6 特斯拉两芯片级联

图7 大陆四芯片级联

图8 采埃孚四芯片级联

图9 华为4D雷达点云效果

华为的12T24R 4D成像毫米波雷达似乎用的是自带芯片，应该由6个3T4R的芯片级联,但也有人说它可能是由德州仪器的六个AWR1642芯片级联形成的。该雷达还引入了非视距（NLOS技术），可以利用雷达的多径效应看到前前车。

图10 韩国智能雷达系统八芯片级联参数

（2）信号处理硬件

采用FPGA或者高速MCU，利用硬件加速器、线性运算加速器等，并行处理多颗射频芯片的高速采样信号。

（3）软件和算法

超分辨算法、自适应动态波形、软件定义雷达、多模雷达、智能抗干扰、微多普勒、基于深度学习和神经网络点云识别等等。

4、4D毫米波成像雷达的技术门槛

有人说4D毫米波成像雷达的门槛不高，我是不太赞同的，真正想要做好一款雷达，并量产上车，没有好几把刷子是不行的。要是4D毫米波雷达成像雷达的门槛真那么低，岂不是人人都能做出来，或者人人都可以做，但是至今有多少人做出来呢？

（1）复杂的硬件设计

复杂的射频排布和叠层，高速车规级数字信号链路，多芯片集成排布堆叠、天线布局与优化、射频降噪处理技术、抗干扰设计。

（2）大计算量的并行软件设计

雷达的数据量很大，传输、存储、处理和计算要满足50ms的刷新率，国内的4D毫米波雷达厂商都做到了嘛？显然并没有多少，如此说来，4D毫米波成像雷达不仅有门槛，而且门槛还不低。

计算方面除了雷达信号处理和雷达数据处理需要大量运算之外，目标分类与识别模块也需要很高的计算量，比如加入了神经网络。另外，采用多级联芯片，还需要进行多核数据并行处理，尽量利用硬件资源优化数据处理速度。

（3）体积大、功耗高、价格高

毫米波雷达有优点，但也有缺点，能否上车的决定性因素是其价格，而不是性能。特斯拉最先宁可采用全摄像头方案也不要雷达，就是嫌弃雷达的价格太贵，而现在又回头做雷达，就是因为目前的双级联雷达的成本很低，同时也能满足一部分的需求，可以上车。既不影响特斯拉汽车的整体价格，也使得汽车具备比以往更优的性能。

图11 Arbe 4D毫米波成像雷达

4D毫米波成像雷达量产要求是小型化、轻量化、低成本，这需要可靠的机械结构、灵活的硬件设计，同时需要保证垂直方向角度分辨率、远近距离双区域模式探测，以及复杂而全面的软件算法设计。缩小体积的一种方法是优化天线的布局，或者采用专用的高集成雷达芯片，采用多芯片级联显然会增加雷达的体积，同时功耗也会增加。

对于成本来讲，专用的高集成雷达芯片目前成本略高于多芯片级联方案，但未来降成本的潜力巨大。

图12 4D毫米波成像雷达各个技术路径比较

5、4D毫米波成像雷达目标分类

目标分类算是4D毫米波成像雷达作为单独传感器的最后一个任务，我个人认为这是雷达的第五个维度，即如果雷达能够实现精确的目标识别，那么雷达可以认为是5D成像雷达，但是这个说法并没有在业界形成统一。

4D毫米波成像雷达目标分类需要实现的任务非常简单，难的是任务的实现。如何区分道路交通参与者，七大类或者五大类是一个非常关键的问题。

图13 雷达目标分类与识别

研发新的目标分类与识别算法是这个模块的核心任务，首先如何获取高密度的点云信息就成为了大多数雷达工程师的难点问题，第二，如何通过稀疏且不断闪烁的点云来进行目标识别，又是一个难点问题。第三，如何采用可以工程化，且性能比较好的算法实现目标识别，又是一个问题。

多帧点云联合处理的方法，是通过牺牲时间积累点云用于抗闪烁，并降低点云数量大幅度变化，以及维持目标点云轮廓的一种方法，我并不知道这种方法是否完全合理，但一定程度上可以缓解问题，提高识别概率。不过，这并不是最优的方案。

另外，对于点云的特征进行合理提取，如下图所示是对目标的分布或者轮廓进行空间建模与特征提取。同时，还加上微多普勒信息，结合机器学习算法或者神经网络，可以提高雷达的目标识别性能，大陆雷达、博世雷达，以及国内的部分雷达厂商都做了这个工作。

图14 点云特征提取

传统通过聚类+跟踪+识别的算法架构，显然会存在很多问题，尤其在环境比较复杂的场景，这种算法架构比较适合环境背景比较干净的地方，但是对于干扰很多的城市道路，明显泛化能力不够。通常，人群和汽车出现在同一帧下，由于DBSCAN算法的esp和Mints都是固定的，且复杂环境下Optics算法也无法自适应上述两个参数。所以，必然会出现两个行人被归为一类，而一辆小汽车被分开为两类，这就是同簇分裂和异簇合并的问题。

图15 点云同簇分裂和异簇合并

论文CNN Based Road User Detection Using the 3D Radar Cube采用了一种基于雷达的单帧多类检测方法，利用低级雷达立方体数据对移动道路使用者（行人、骑自行车者、汽车）进行分类。

图16 单帧多类检测方法

该算法位于目标检测之后，点云聚类之前，即在每个雷达目标的网格单元周围提取雷达立方体数据，送入RTCnet卷积神经网络中，然后对输出的结果进行聚类，最终得到目标的类别。RTCnet卷积神经网络由三个模块组成，如上图所示，其中第一部分的目的是将雷达目标的空间邻域的多普勒分布编码为一个张量，而不扩展范围或方位角。第二部分是在第一部分的输出结果上运行，目的是从目标周围的速度分布中提取类信息。第二个模块的输出连接到目标特征级，并送入到第三个模块中进行分数计算。

图17 RTCnet卷积神经网络识别结果

目标识别算法的距离不能太远，也就是位于雷达30米左右，太远就会因为雷达的分辨率、信噪比、点云数量、点云密度的变化而下降，如下图所示：

图18 识别概率和距离的关系

除此之外，还有很多算法，至于能否工程化，以及别人用的什么算法实现目标识别，比如特斯拉、大陆、博世、Arbe等，雷达革命尚未成功，研发同志仍需努力！

6、4D毫米波雷达融合

融合是雷达作为多个传感器之一的第一个任务，雷视融合可以提高感知系统应对低光照、恶劣天气等复杂场景的检测性能和跟踪稳定性，减少漏检、虚警概率，结构如下所示。

图19 雷视融合

此外还有雷达与雷达之间的融合，实现360环视感知。

图20 环视感知雷雷融合

总结

目前，4D毫米波雷达的研发已经进入了白热化阶段，2023年陆陆续续会有很多企业亮出招式，是生存，还是毁灭，这是一个问题。