原标题：福瑞泰克吴国苏州：智驾期间如何界说一套好用的ADAS产物？

作为智能驾驶解决方案服务和产物提供商，福瑞泰克可以或许提供应主机厂包罗硬件、算法、软件集成等在内的完备的ADAS体系解决方案。

其为主机厂提供的ADAS产物，具备对中国场景高度的顺应性及快速机动相应能力。目前福瑞泰克已经与海内多家主机厂举行互助开发项目，并已开始实现产物在主机厂量产车上批量供货。

在智能驾驶期间，对于如何界说一套好的ADAS产物，福瑞泰克有着自己的见解。为此，雷锋网(公众号：雷锋网)新智驾约请了福瑞泰克视觉算法专家吴国苏州举行业内分享。

以下是吴国苏州的演讲内容，新智驾举行了不改变原意的整理：

列位晚上好，在这里想跟各人探讨一下智驾期间如何界说一套好用ADAS产物。

“好用”这个词实在比力难以描述。以是今天会围绕以下几方面来讲：第一ADAS产物在中国的发展现状与趋势；第二是ADAS产物的技能发展与中国路况的优化；第三是售后与标定问题；末了会探讨产物常用的测试场景以及长尾问题。

ADAS产物的发展现状与趋势

许多人认为ADAS是2016年后才渐渐有的观点，但实在ADAS在外洋发展得很早，欧洲的一些厂商在上世纪就已经开始研究自动宁静，好比做一些碰撞减轻的体系，用摄像头来做车道偏离报警体系。

在中国，所谓的ADAS体系量产元年实在在2012年。其时第一款ADAS量产车型是红旗H7，搭载了一个不是很高清的前视摄像头，具有简朴的车道偏离预警功效。另有一个24GHz的毫米波雷达，以及两个侧角雷达。

但真正意义上，用户量比力大的一个ADAS体系实在是2015年吉祥推出的博瑞车型，这款车上市时候引起了不小的惊动。

它搭载的摄像头和前向毫米波雷达，实现了灯光的自动切换、紧急制动等功效。这款车上市销量一开始挺大的，让许多人第一次真正意义上体验到了先进的ADAS体系。但摄像头和毫米波雷达体系相互独立，数据没有融合。2018年是中国ADAS真正的意义上的一个里程碑，出现了横纵向联合控制体系，也是由吉祥的博瑞车型改款而来。

搭载的摄像头和毫米波雷达实现了两者数据融合。它可以或许提供车道居中、低速交通拥堵辅助、交通标志辨认等功效，成为中国首个意义上的多传感器融合车型。从全球范围来看，量产时间也是比力早的。

进入2020年，可以看到许多主机厂包括传统车企和造车新权势，纷纷宣布了进入L3期间。

固然，真正意义上的L3不仅感知体系、控制体系都要实现冗余，底盘控制器体系也要有可靠的设计。目前从整车的角度来看是达不到的，但是功效上基本可以到达体验式的L3。

讲完了汗青，接下来讲一讲为什么会有如许的发展，以及ADAS体系今后的发展偏向是什么？

ADAS的发展上，技能需求和法例升级是相互促进的。从欧洲尺度ENCAP新车评定规程来看，2016版的评定规则比力简朴，只有针对车辆的横穿行人提示功效、车道功效、限速提示功效，而且只要求一个52°的前视摄像头和前向毫米波雷达就足够了。

2018年开始，ENCAP法例有了重大变化，开始思量到横向穿越的自行车，同向纵向行人这些交通场景，以是技能也在升级。这也是为什么今天各个大厂开始抛弃原有的52°摄像头，开始做前向100°摄像头的缘故原由，就是专程针对横穿的二轮车设计的。业内的检测算法也在进步，原来可能只能检测规则车道线，厥后路边草丛、护栏、没有车道线的门路边沿，都渐渐可以被检测到,用以应对RoadEdge场景。

2020年之后，倒车行人掩护、十字路口等场景，都被纳入思量范围。如许一来，体系的临近车道以及侧后方检测上都会有一些新要求，同时后角雷达也会逐步成为标配。

2021年，包括自动转向避障、十字路口横穿车辆，都会逐步纳入法例。以是“好用”这个词，是要根据期间的要求来不停演进的。用当下的尺度来看三年前的体系，肯定欠好用，以是ADAS体系必须跟上期间。

而法例的发展趋势也推动了技能的升级。

2018年从前，深度学习还没有用在辅助驾驶场景上，那时照旧基于传统的CV算法，以是能实现的功效都比力简朴。就是接纳类似于HOG、HAAR这类算法，然后通过一些分类器来实现车辆、行人的检测，车道线则是通过对比度等方式做一些边沿特性的提取，然后拟合曲线实现车道线检测。

以是2018年从前的摄像头产物，如果要检测横穿车辆或二轮车，不是说完全不可能，但总体比力难。

2018年以后，随着深度学习的小型化发展，许多国际的传统厂商在新一代视觉芯片里加入了新的CNN处置惩罚能力。海内也有初创公司推出了自己的AI视觉芯片，用于ADAS前视摄像头。一些集成度较高的产物不仅集成了传统算法功效，也引入了全面的CNN算法，支持真正意义上的目标和语义检测，可以或许处置惩罚的像素也越来越高。

2020年开始，会陆续有大量的引入广角摄像头产物市场。

2022年以后，全向360度感知、视觉定位、类似V2X这些功效，那都会逐步进入大众视野，这是技能和法例趋势互补的演进路线。

技能发展和中国门路场景的优化

AEB的发展

在详细的功效上，可以说，大部门用户对ADAS的认知都是从AEB体系开始的。很早从前欧洲许多车就配备了这个体系，主要靠雷达来实现的。众所周知，雷达对静止物体的感知能力并欠好，同时一些金属反射也可能会造成误触发，以是各人认为这个体系不靠谱。但根据最新的用户调研，车主对AEB的信托水平凌驾70%。

各人认为AEB体系不靠谱的另一个缘故原由是行人检测。即便是特斯拉，也没有很高的行人AEB触发率。以是我们要探讨，是不是全部场景、任何时候都能实现制动？

我们认为AEB设计的初志是制止丧失或减轻丧失。

这和车辆的动力学特点有关系。 车辆动力学特点就是，在低速场景下，最迟转向点是早于最迟制动点的。一辆车在低速情况下靠近前车，如果过了最迟转向点而驾驶员没有打转向，就有可能会撞上这辆车；到了最迟制动点，体系触发制动就可以制止碰撞。

但在高速场景下，最迟转向点和最迟制动点是反过来的。由于在高速场景下，面临低速前车，通常驾驶员会选择转向来避让而不是制动。当用户明显可以选择转向避让，但是AEB体系却触发了，这种举动在高速上实在是非常伤害的。

以是，AEB要包管低速做好刹停，而高速应该要减掉一定的速率，而不是一下子减速到0。 以是，我们对AEB的认知应该是它可以或许减轻碰撞，但不是说百分之百制止丧失。

谈到这个，也可以来看一下制止碰撞技能的发展。2012年开始，实在ENCAP就划定要做AEB Car-to-Car rear 来防止追尾。2015年增长了行人掩护。2018年包括横向穿越二轮车，纵向行人，纵向二轮车都被纳入了范围，但由于技能自己的局限性，它不能在全部情况下完全制止碰撞。

2020年，会有一些领先的厂商推出辅助速转向制止碰撞ESA，防止来车和侧后方车产生碰撞，笼罩高速场景。

用户在高速场景下更倾向于打转向。但如果两车车速差距过大，用户打转向的路径也不一定合理。如果体系做得足够好，可以在转向历程中，知道用户的意图是制止前车碰撞。如果用户转向不足，可以通过体系的路径规划来为用户规划一条可以制止碰撞的转向路径。就是举行一个有限的干预干与，帮助用户补足转向需要的扭距，从而制止碰撞，这也是一个技能发展偏向。

从ADAS的执行角度目前没有同一的尺度和法例，用户依然是责任方，而不是车辆自主决议，如果用户分神没有转向，那么体系也是不能实时反应的。

那么思量这些问题，2022年ENCAP最新的草案里也开始提到了，要引入三个技能：加入AEB-head on，AEB-junction 和AES。但由于欧洲疫情比力严重，可能会往2024年去推，但总的来说趋势是不可制止的。

ADAS的算力、功耗与成本

差别等级的驾驶体系，对传感器和算力有着差别的需求。通常，辅助驾驶需要的算力是1~2Tops，传感器设置应该是一个视觉传感器加1~5个毫米波雷达；L3有条件自动驾驶通常要20~64Tops的算力，更多的视觉传感器、毫米波雷达、V2X、高精度舆图以及激光雷达；L4需要更多的激光雷达，需要至少320Tops的算力。

当下辅助驾驶销量最大，那么它到底需要一个什么样的设置？以视觉为例，通常摄像头放在车前玻璃顶上的，需要在空间很小而且处于太阳暴晒的地方集成视觉传感器和车身通讯。

它需要集成好几方面的资源：包括CNN引擎，处置惩罚庞大的神经网络来做视觉算法；要有内存体系，包括SRAM、DDR等用来做一些传统算法和追踪事情。

差别的神经网络类型对资源的占用以及处置惩罚器的算力应用差别很大。以是评估CNN引擎不能只看算力，现在市面上有许多CNN引擎的芯片，对一些特殊网络的加速并欠好。在选择CNN芯片的时候SRAM、DDR也是要思量的方面，由于计算时候大量的乘加不可能在DDR完成，以是CNN引擎要配上一个比力合理尺寸SRAM才能事情，这个SRAM的巨细要思量到框架做得好欠好，视觉处置惩罚区域网络有多大，这些都是要思量的。这个目的是尽量制止DDR的消耗，特别是 DDR带宽的消耗，如果DDR消耗过大，成本就会上去了，发热量也会特别大。

从ARM和DSP的设置来看，许多外洋的传统引擎厂商做的都不错，都有一些传统视觉算法加速器，而且工具链做的也不错。由于没有DSP积累，一些新的厂商每每通过算力比力高的ARM来弥补这一点。固然如果要用传统算法要提取特性点或者做相机标定的话，可能要熟悉DSP、熟悉厂商给的DSP库，或者对ARM的并行优化做的比力好，否则对算力的要求会非常高。

在检测方面，从法例需求也可以看出，2018年后有重大的更新，这个更新在2021年的CNCAP版本会体现出来。就是说传统相机52度视角度可以顺遂通过前向测试场景，但是很难通过横穿二轮车这些场景。

以是厂商会将摄像头视觉的中心区域尽量做到和传统的一致，传统区域要用来检测车辆、行人、二轮车、车道线、交通标志这些，而且探测间隔要求比力远。而周围的区域就只检测横穿的二轮车（包括未来做横穿车辆检测），只要满足法例要求就可以了。通常来讲一般只要检测到30米以内，就可以满足2021年的CNCAP要求。

在这里重点讲一下CNN加速器的类型，目前业界许多厂商做的CNN加速器都不一样。从原始种别来看，CNN加速器可以分为两大类，第一类就是利用ASIC来做一些CNN加速，内里有固定的kernel和size。有一些大厂用的芯片就是这种情况，以是其CNN能力会有问题的。好比说做一个point wise的卷积，由于其固定的kernel size是5x5，只有1/25的算力用得上，效率非常差。因此在设计网络的时候要制止这种情况的产生，根据处置惩罚器的特点来设计神经网络，然后实现性能的优化。

另外一类就是高位宽的SIMD。它的一个特点是，能实现比力好的卷积加速，但像upsample、softmax、pemute这些都干不了，以是得占用别的资源来做。这就涉及到资源的消耗问题，怎样把DSP/ARM的内存带宽利用好，怎么排时序，不能ARM在运行的时候等DSP，DSP运行的时候等ARM，那就把整个算法的时间都浪费掉了。

固然也有厂商集成两者的优点，做了一个混淆的芯片。如果厂商自己做算法、芯片，那么内部的适用性是比力高的；但如果想提供通用芯片，就得对未来几年网络发展的概况有很好的相识，否则做出来的芯片模组做出来没人用，就会造成浪费，导致竞争力降落。

讲完芯片，来讲一下视觉算法。目前视觉算法实在做的非常庞大，各人也有一个共鸣，就是不能只靠CNN来做。由于目前CNN在视觉算法里的应用仅仅是图像级的检测，好比说通过CNN来实现画面中目标框、特性点、属性的回归，固然对像素的支解也是比力好的。

但这些究竟是在图像坐标系里产生的，即便真的检测到了人和车，也是在图像坐标系下。为了得到对象在车身坐标的详细位置，必须得精准知道一些摄像机的标定参数。而一些相机姿态的动态计算，目前还得通过传统的CV引擎来做，如果一些芯片没有传统的CV引擎，就要想措施把它挪到CNN引擎的并行加速库，如果再没有，就要将上面的指令集优化做到极致，才能把这些工具全部做好。

另外，好比白天、黑夜辨认需要的特性统计事情，都需一些传统算法。而且灯光检测也是ADAS必不可少的一个部门，目前这个领域CNN用的不是很遍及，以是也还需要传统算法的算力。可想而知，在ADAS领域要用一个这么小的低功耗引擎，同时集成这么多使命，难度是非常大的。

中国路况如何优化？

那有了如许的体系，如何优化ADAS的用户体验仍然充满挑战，这可能跟中国门路问题的顽疾有关。举一些场景例子，第一个场景是在车辆在ACC的状态下被近间隔切入，用户原来开着ACC，一看有后车切入比力伤害，只能把ACC取消掉了，以是用户体验欠好。

第二是施工区域，通常来讲欧洲的施工区域都比力规范，用黄线来笼罩白线，规则也比力好写；但在中国，施工区域每每都是就扔几个桩桶就完事了，如果开着TJA途经这种场景，体系举行横向控制，好比横向地往桩桶上拉，也导致用户体验差。 第三，海内的异形车辆特别多，路上也有石块等非规则物体。

详细看ACC下的cut in例子。一些用户对cut in感觉欠好，主要照旧由于目前已上市的ADAS产物基本上照旧用传统CV引擎来做图像辨认，也就是说，它能辨认车的正面和反面，但辨认不了车的侧面。毫米波雷达可以或许通过聚类追踪得到的反射点是车辆后方的正中心。

因此摄像头和毫米波融合之后就可以或许知道车辆的后方在在什么位置，但不知道车的长度是几多。以是火线车辆的行驶轨迹可以或许预估出来，但不可能真实地丈量出每个时刻的目标车辆的航向角，究竟推测总是有一定的滞后性，以是ACC cut-in 不太好做。基本上只能根据后方车辆的侵入、自车行驶轨迹的范围比例来判断车辆的跟车目标，这种情况下做欠好ACC很正常。

但如果有CNN加速的话情况可能会好一点。目前来看，新一代算法基本可以做到3D车辆检测，不仅可以或许检测车尾，车的侧面条线也能检测出来，实现真正意义上的3D感知。做的比力好的情况下，车辆的3D位置以及航向角和车辆入侵的火线的比例，都是可以算出来的。如果我们把fusion做好一点，控制计谋做得激进点，完全有可能解决这个问题。

我认为，2021年后会有大量的新一代摄像头产物上市，特别是中国本土的厂商，比力熟悉中国路况，这个问题未来会大有改善。

再看看门路上的不规则物体，不规则物体相对来说比力贫苦，由于视觉算法也很难搞定的。业内也有一家做的比力好的企业，很早就开始研究画面中的特性点和趋势，把路面的伤害预测出来。但如果实地测试一下，会发明在白天不下雨的情况下，只有50%的概率是可用的，而且位置精度不敷准确。

许多毫米波雷达厂商也开始发展垂直辨别率，但对于远间隔探测路面10厘米高的物体情况，毫米波雷达的用处也不大。除非走的是成像毫米波雷达路线，但短期来看，业内还没有哪家的成像毫米波雷达可以或许实现量产。相反，我认为未来固态激光雷达完全有可能解决这方面的问题。

福瑞泰克内部也测试了一些固态激光雷达，用某个厂商的250线固态激光雷达，可以看到在80米范围内的一些石墩。如果是一个20厘米高左右的物体掉在地上，固态激光雷达未来完全有可能解决这个问题。但同时也照旧要思量固态激光雷达的量产时间、可靠性和成本，否则许多平凡乘用车是装不起的。

ADAS的售后与标定问题

接下来讲售后问题。什么样的产物称之为好用？不是说装车试验一下就行。通常情况下，ADAS产物的传感器安装是有偏差的。根据福瑞泰克的工程经验，摄像头毫米波雷达在主机厂的初始安装偏差在±2°。从生命周期来看，10年20多万公里的风吹日晒，产物内部的机械结构可能会产生老化变形，通常会有±1.5度的偏差，累计起来就是±3.5度的偏差。这是全部的ADAS产物装车之后可能出现的偏差范围。如果想要做的比这个更好，那成本会更高。

另外，如果车上坐了人，传感器的pitch也会产生变化，特别是悬架比力高的车辆。某些车辆500千克的负载在车上，车的悬架会降低5厘米，最高可能导致5cm的相机安装高度变化。但如果相机算不出来，对车道线的检测精度肯定会禁绝。

0.5度的航向角偏差，可能会导致100米外的车辆横向间隔相差0.87米。毫米波雷达纵向间隔检测比力好，横向检测基本靠摄像头。如果横向位置偏差0.87米，有可能导致fusion的失效，或者ACC目标选择错误，这基本上是不能容忍的。

以是标定的算法得是动态的，不能只在出厂时标定一下。众所周知，相机自己的支架在生命周期内会老化，用户也有可能举行维修换件，那4S店的操作工人可能没有用激光把车轴瞄准就开始标定了，末了标定的间隔有可能就会产生偏差。另外，相机雷达的外参比力好标的，但内参就比力难。在10年的生命周期内，镜头有可能产生热胀冷缩。从前有一句话叫内参不敷外参来凑，这对窄角相机来说，畸变比力小照旧可以的，但对于未来100度甚至以上广角的相机，内参如果变得太多，外参怎么样也弥补欠好。以是不仅算法要好，工艺控制也要到位。

谈到标定算法，现在基本上市面全部产物，都可以或许实现根据车道线门路边沿的消散点来标出相机的俯仰角。 但在非结构化门路上，就不能通过车道线来标定，可能得根据光流的连续追踪，探求消散点，从而计算标定角度。但大部门厂商对于翻滚角roll基本都是标不出来的。固然如果结构化门路好的话，算法做得好，在变道的历程中积累了一些case，翻滚角roll也能算出来。

但是最厉害的照旧把相机高度给算出来，业界做的比力好的，可以通过引入车身传感器信号和画面的比对，把相机的高度给实时算出来。这是一个难点，但许多厂商已经开始这么做了。

测试和Corner case问题的解决

讲完售后和标定问题，再来从测试和Corner case的角度讲一讲ADAS功效的需求是什么。从功效来看可以分为两大类，一类是宁静类功效，另外一类是舒适性功效比方定速巡航这类。

宁静类功效上，许多人体贴的是在几多时速下AEB能刹停。但这不是主要思量的问题，主要思量的是AEB的误触发率，这是一个影响非常大的问题。通常来讲，要在包管误触发指标没有问题的基础上，每30万公里，Full Break误触发次数小于1，Half Break 误触发次数小于1.5之后，才能讨论正触发能力。

一般来说，在严酷满足误触发概率的基础上，在自车40公里每小时的速率下，对火线的静止车辆可以或许刹停；如果自车的速率是60公里每小时，对火线车速为20公里每小时的车辆可以或许制止碰撞，就可以说是做的不错了。

类似自顺应巡航的舒适类功效，起主要思量的是驾驶员的感觉。关于主观感觉的比力好，也有一些评测机构定了一些尺度：好比前车静止，自车可以或许在时速70的情况下缓慢跟停而AEB不触发；对切入的车辆，再自车车速30公里每小时，前车15公里每小时或者自车是65公里每小时，前车35公里每小时的情况下，可以或许缓慢车，而不需要驾驶员滋扰；对于横向控制，一般车道居中能包管±20厘米就可以了。 过弯方面，一般时速100公里可以或许通过转弯半径250米的弯道，我们就认为这套体系比力好了。

固然，对于变道换道，一些评测尺度各人都还在研究。

至于Corner case，可以来看看基本全部量产ADAS产物量产历程中都会遇到的Corner case。

第一个就是上桥下桥路面不平，许多相机在测试时候都假设路面是平的，一旦产生路面不平的，车道线要么检测不出来，要么就交织到一起。这种情况下，是不是一定要把路面曲率预估出来？我以为未必。如果功效计谋做的好，过桥的时候把横向控制稍微缓一缓，或者爽性退出横向控制用户体验会改善。

第二个是车道线，在车道交汇处有这么多条线，车辆到底选择哪条线作为左车道。驶出匝道的时候，到底直线车道先被检测出来照旧弯车道被检测出来，如果先检测到直线车道，偏向盘就会晃一下，造成用户体验欠好。说真话这跟深度学习没关系，基本上只能靠做测试，不停修改计谋、打补丁才能做好。

第三是单雷达导致AEB误触发问题。虽然现在都是fusion体系，但历程中可能会产生ACC减速的情况。怎么样通过雷达的反射把尽量把ACC做的更舒服一点，也是很大的工程经验。未来毫米波雷达厂商可能会推出垂直辨别率的毫米波雷达，这个问题自然而然也就能解决了。

末了一个是进出隧道的场景，虽然车载相机一般都有120dB的动态范围，但这到底够不敷？我们也在一些调好曝光、极限的场景做过测试。通常来讲，很少真的由于过曝或者欠曝导致没有措施产生对比度的情况。摄像头成像要给深度学习或者给视觉算法用，sensor

出来的raw图像，得颠末ISP的色彩还原和tune mapping等处置惩罚，通常才能给CNN使用。这个历程如果有任何一个历程做得欠好，末了照旧检测不出来，这也是工程能力的一个体现。

末了总结一下，到底怎样才能做一个好用的ADAS产物？

从福瑞泰克的角度，我们认为有几个方面：一是感知能力要全面且要精准。 二是传感器融合。视觉照旧有局限性的，如果不做融合，如果在下大雨的场景下，视觉是没有毫米波雷达可靠的，以是多传感器融合也一大趋势。

第三，作为一个好用的ADAS产物，不仅传感器要可以或许好，融合计谋够好，整车控制也要做得好。由于ADAS究竟作为整车的一个功效，如果车辆的执行器欠好，终极带来的用户体验照旧不敷好。

第四，产物要稳定可靠，包管在10年25万公里的生命周期内，传感器的感知维持一致。如果在某些场景出现失效，超出了算法熟悉的范围，一定要有能力让用户知道该举行维修了，同时将详细的妨碍内容记载下来，让用户及更换。

另外，要下苦功夫举行充实测试。海内的产物就得在中国的全部道场景下，都得有充实的测试案例数据。

末了是人机交互，在未来功效越来越庞大的情况下，如何通过一小我私人机交互界面，在AEB这些产生之前给用户一两秒钟的反应时间，都能极大改善用户体验。

综上所述，这些都是一个好用的ADAS产物需要思量的范围。

福瑞泰克定位为一家“驻足中国本土”的ADAS体系息争决方案供应商，公司建立至今凌驾3年多的时间，我们的第一代的摄像头产物已经在乘用车和商用车上实现了量产，包括实现 ACC、AEB、LKA、TJA等多种L2功效。

针对新一代的法例需求，我们正在开发新的产物，完全满足2021年法例的需求。新一代的摄像头产物接纳了3mega BSI技能的COMOS Sensor，同时配合一个100°广角摄像头，完成支持C-NCAP2021的法例技能。

在LKA以及TJA等功效上，对于车道线不清晰以及没有车道线的门路边沿，福瑞泰克的新一代产物也可以或许辨认并通过控制偏向盘相应，提升用户感觉。

（雷锋网）                雷锋网

雷锋网原创文章，未经授权克制转载。详情见转载须知。