apollo3.5 感知部分讲座笔记

听的一个直播,讲师为Apollo的王亮,讲的棒棒哒,以下是自己记录下的摘要,和slide的截图

传感器标定

十个camera

标定很辛苦,门槛挺高的,做好不容易。


3.0的时候

搭了一套系统,一键标定,Apollo量产

室外的话有柜子,也是轨道,可以工人操作


image.png

3.5 的 话搞成了一个更方便的,工程的问题,不用搞车间,只给了接口

radar没怎么自己搞,没有raw data 就用了厂商的

车辆的pitch角要估计

做的后融合

lidar 感知,三维的bird -eye view 五到六维的特征, 估计中心的offset

点云为什么用learning based 替换rule based。 距离近的时候,小的被合并 还有大的被分散。 128线的雷达,又重新标了点数据,finetune了。


蓝色三轮的,外卖的车 红色的是行人,和rule 的比干净很多

视觉很难 规划的时候要用3维的信息,but 2维怎么去推3维,反推简单(有几何关系,二维的话,只要在一条线上就满足)


线下的标注,要增加信息,车头车位,标注代价的提升,怎么选择怎么标注。要恢复什么信息,不只是二维框。最后还是要几何北京的去坐数学推导,不是二维上end_to_end.

前向12mm 6mm融合,两百米以外的大概。锥桶也可以检测出来,12mm可以到200米,6mm可以到120m的样子,然后融合起来,在 bird-eye view下

针对环视,旁边两个鱼眼

数据:

一定要保证数据,要mining,怎么利用数据,找 coner case data,要经过一些算法,做挖掘,之前的话所有的都标,现在的话选择标。实时系统,受时间限制,但是在服务器上,没有限制,那么是不是可以训练一个慢十倍的model,然后自动标注(这个方面有时候好得多比人工)


红绿灯例子


加数据,坏的灯,遮挡的,挖掘出来的数据 提升了五个点

auto labeling, 快速扩充传感器能力和适应性。

game engine simulation,仿真的话是美国那边做的,感知在用

还是数据,比如十个摄像头的环视,标注起来一两个月过去了,验证慢。用这个的话快速验证。比如仿真被车压的不行的道路。

开放出来的时候是learing base的,但是后面有加rule base的。 里面的有rule,算是一个可解释的系统。v2x上帝视角,比如红绿灯,大车后面有小车

只用radar加摄像头,感觉安全还是。。。阿波龙就是园区内,还是用了16线。

预测比感知还难,感知的灵敏度,毕竟中国的行人,车。提高帧率,要灵敏度。不停的去试探这个世界,多handle。

算力的要求,视觉很heavily ,要做线程上的调度,两个显卡,cpu还好,有推荐的公共机。 激光雷达,特别大的雨, 加数据,还是很难。

视觉还是mobileye牛逼,大写的服气。现在的话,降低了对地图的依赖,车的抖动,定位误差,直接用地图的话有偏差,感知也要有这个能力,两个互相校验,然后最后信哪个。高精度地图还是会要,只是没有那么依赖。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容