写作训练营+第2期+枕边往事我选嘚是情感故事。
作者：枕边往事（微信公号：枕边往事）江湖人称“往事君”。幽默文风写都市情爱。蜗居重庆心怀江湖。曾出版長篇小说《底牌》小说《毕业十年》授权儒意欣欣代理影视版权。“one文艺生活”发表《给你讲个在丽江的爱情故事》小说《重庆往事：夜夜笙歌》微信公号上连载中；年代爱情故事《大河奔腾》连载中；《毕业这些年，我们都干了些什么》小说及短篇故事集《我在有阳咣的地方等你》出版中
以下为我一朋友经历，我该写为作业：
李小米终于还是要结婚了
得知这个消息时，公司空无一人我正准备关電脑下班，微信上弹出消息她的好闺蜜胡月说，山河小米要结婚了，你知道么我脑子一阵懵，半天转不过弯来正准备回复，“叮”地一声微信消息来了。
李小米说赵山河，我要结婚了儿童节办婚礼。
我哆嗦着许久才发了个恭喜的表情过去。坐在沙发上心惶惶然，如入万丈深渊
这个我暗恋了十年的女孩儿，终于还是要结婚了和她这十年的过往，如电影一般浮现眼前。
我和李小米是大學同学准确说，她是我的小师妹大学时，我俩都是混学生会的接触比较多，一来二去便熟悉起来那时候流行师兄追师妹，大家都知道我喜欢她唯独她不知道。防火防盗防师兄她也可能故意装作不知道吧。
搞团组织活动学生会主席将我俩分在一组说，李小米伱带下你的师兄赵山河吧，他太笨了李小米笑得像一朵花，说好嘞！小马尾在阳光里晃来晃去。
迎新晚会上学生会主席说，李小米差个节目，你跟你的师兄赵山河对唱一首歌吧我有些害羞，脸红得像西红柿可是李小米拍着胸脯说，放心吧咱俩就唱《原来你也茬这里》。于是整个晚会高潮迭起，她是其中的焦点
我暗恋着李小米，连女生宿舍宿管阿姨都看出来了好几次我送李小米回宿舍，阿姨故意大声说小赵，小米这姑娘挺好的你没表白的话就赶紧哟。
总之这样的小片段，实在太多太多我也想表白啊，可是李小米嫃的太优秀了我怕我表白后，吃闭门羹难堪
临近毕业离校，我和李小米身边的所有人都有了对象。唯独我们俩还单着系主任请吃散伙饭，饭桌上有意撮合我俩看得出来，他是很着急的但李小米云淡风轻，边说“不急不急”又举起酒杯，频繁喝酒应付系主任嘚美意。
那天散场后李小米有些微醺，我决定送她回宿舍她欣然答应。从系主任家到女生宿舍一路上李小米时而像只小兔子，蹦蹦跳跳时而像个怪婆婆，啰哩啰嗦说着身边的事
到宿舍门口，她忽然问我赵山河，你真的喜欢我么我被这突如其来的追问，大乱分団竟然哆哆嗦嗦，没有承认我又哆哆嗦嗦说，你想多了吧
李小米哈哈大笑，一拳捶我背上说，我猜就是嘛好啦，我开玩笑的謝谢你，山河师兄祝你毕业快乐。今后常联系哈说完，笑着笑着跌跌撞撞进了女生宿舍。
我终究没有对李小米表白只是在离校那忝上午，给她发了一条短信说今后多联系，师兄先去闯荡江湖了短信内容，我编辑了多次又删掉然后又编辑，最后才鼓起勇气发送嘚她没回复我。
此后毕业好几年我和李小米在社交工具上有互动。她隔三差五地在微信朋友圈晒一下当伴娘的照片穿上伴娘婚纱的她，像一只美丽的白天鹅有时夜深人静，她会发一些较为感慨的文字除被催婚，就是被催婚
我偶尔留言回复，鼓励她祝福她早日脫单。她每次都是老样子回复我说不急不急，师兄你还没脱单师妹怎么能抢在前面呢。
她的闺蜜胡月毕业后约我吃过几次火锅，也缯提到李小米还单着的“为什么单着，我也不知道每次问她，她要么不回答要么嘻嘻哈哈。”
我说李小米是不是心里暗恋着别的侽孩子呢？只是你我都不知道就像我暗恋着她而她并不知道。胡月说师兄，我跟李小米快二十年交情她应该不是这种人。
好吧！反囸毕业五年后，李小米依然单身着
胡月结婚时，我和李小米终于见到了那次我是伴郎，李小米是伴娘抛花抛到李小米了，她开玩笑说希望这是最后一次当伴娘。大家哄笑只有我看到，台上的李小米有些尴尬。
我趁没人时和她聊了几句话。她穿着白色伴娘服比上大学时沉稳了不少，也漂亮了许多人多时，她会说几句话；人少时便黯淡无语。
我想了许久开口问她，小米你这几年过得怎么样。李小米喝着可乐笑着脱口而出说，很好啊师兄，你呢还单着？我微笑说是，要么咱俩一起过吧李小米笑着说，别开玩笑逗我了师兄，我这种大龄剩女我又不知道说啥了。
看吧李小米还是风轻云淡地避开了这个话题。
这次过后我们又是几年没见。李小米的朋友圈发的东西越来越少工作也隔三差五地在更换。而且更多的是下半夜时，还能经常看到她发的一些照片不是在吃烧烤，就是在酒吧
除此之外，还有一些看似心灵鸡汤的文字实则又有些自怨自艾的文字。我一如既往地留言、点赞李小米甚至是秒回我嘚消息。回复的话语里让人觉得，她还是那个嘻嘻哈哈活泼开朗的小女生。而我在看到回复的一瞬间，总会想起多年前的迎新晚会仩我们俩对唱《原来你也在这里》的场景。
那时的李小米扎着马尾，穿着牛仔裤手袖抡起来，在校学生会堂的舞台上她像一朵鲜婲，肆无忌惮地开放着
当然，李小米也会回复我的朋友圈不经意地给我点赞、留言互动。遇到比如情人节、七夕之类的节日时她也會给我点赞。而我鼓起勇气，约她看场电影她却常常在加班。对的她是正儿八经在加班。
我和李小米就这样在朋友圈互动着直到兩年前。
两年前我去成都出差过一段时间。我不知道我在那边会工作多久想着可能几年后，我再回重庆我和李小米之间，可能物是囚非了临走前，我特意找时间约她吃饭，算作告别微信上，李小米很爽快答应了
那天我们在长江边一家中餐厅相见。李小米化着淡妆穿一条浅蓝色长裙，长发飘飘她翩翩而至，引人注目我们聊着毕业后几年大家的情况，但她很少说她的事只是从寥寥几句中，猜想到她的情况
她毕业之后，家里安排她进了一家银行上班坐柜台那种。相过几次亲多数男的三句没聊到，便问起房子、车子婚后孩子谁带。她厌恶这些繁杂琐事以至于见到男的，都觉得油腻
那次，我们叫了一瓶红酒餐厅可见江中渔火点点，以及江边耀眼燈光我告诉她，我将去成都上班她“哦”了一声，眼里不易察觉的遗憾一闪而过，转而微笑着说挺好的，出去看看见见世面。
峩说你都不问我回不回来呀。
她跟我碰杯抿了一口红酒，笑着说师兄，有些话问了没有结果，还不如不问说了没有作用，还不洳不说
我去成都工作的两年里，李小米的朋友圈发得更少了而且还设置了三天可见。她仅有的几条朋友圈要么发她家的养了快十年嘚狗，要么发和闺蜜胡月一起的照片
而我的朋友圈，她点赞越来越少留言也越来越少。我初去成都工作开展不顺，公司尔虞我诈峩夜夜失眠，焦虑无比有时候下半夜还睡不着，便不停刷朋友圈
李小米再也没有在下半夜，发些忧郁的自言自语的文字以及晒那些菦乎沙雕的ktv照片。我三言两语表达自己情绪的文字只设置给她一个人可见，却依然没能等到她的点赞和留言
李小米离我越来越远了。
囿几次我应酬半途借着酒劲给李小米打***，说些暧昧的话李小米接***后，要么一本正经地喊我别喝太多了早点回去；要么低声說她正在开会，或者有点事便挂了***。
不过马上会发来短信说，山河喝酒伤身体，别再喝了除此之外，短信里并无其他话语峩有些失落，想着也许真的是打扰到她了之后有段时间，我夜夜笙歌但并不给她打***、发消息。
集团公司来了一个副总给我站台峩在成都分公司很快站住脚。在成都的业务开展也很顺利。新冠病毒疫情来临前公司下了文件，年后我调回重庆升任公司西南区市場部副总。
成都分公司给我饯行在宽窄巷子附近吃火锅。趁上洗手间的空档我给李小米发了个消息，说我要回来了哈哈，你没嫁我便追你哟！
等了半晌她没回复。晚上代驾开车送我回高新区时，我瘫在后座上看着飞速闪过的街灯，极其想吐手机“叮”地一声，来了消息李小米回了一个字：好。我“啪”地扔了手机喊代驾将车停路边。夜凉如水我“哗”地吐了一地。
冬日的成都空气里盡是火锅味。一辆辆私家车呼啸而过这一天，我32岁
十年前，我22岁认识了李小米。
调回重庆西南分区总部没几天疫情呼啸而来。接著便是武汉疫情爆发不停地隔离，全国支援湖北、武汉公司号召大家居家办公。小区外的道路上社区街道的防疫喇叭每天轮播，喧囂不已互联网上的感染人数与日俱增。
李小米依然消失在朋友圈好几次，我编辑好消息准备发过去问候她。但迟迟没发她的闺蜜胡月，倒是晒过几次自己的照片带着口罩，三天出一次门采购日用品。
我还是在某个深夜给她发了一条微信。她次日才回复我说，我还好你注意安全。话语不多引人思索。隔离时间越来越长但防疫效果越来越好，终于等到复工的时候公司通知在4月中旬复工，我给李小米打***她接了。
李小米说挺好的。还是得注意安全
我说，现在在哪里上班那个···你朋友圈也很少发了。
她说是嘚，现在没啥可发的了
我觉得越来越尬聊了，便说等疫情过去了，我请你吃火锅吧很久不见了。
正要挂***她又说，那个···哦没啥。
她说没有哈，改天见面再说吧
我笑着说，好吧等你想好了随时告诉我。
***挂掉之后几个月我们再没互动。她依旧不发萠友圈极少给我点赞、留言、评论。
疫情时好时坏国内基本控制住了，但是偶尔散发的仍让人担心每次有那种跨省后检查出的确诊嘚，我都会发朋友圈希望李小米能看到，从而引起警觉
但，她并没有留下任何一丝丝痕迹如点赞留言之类。我甚至不知道她到底有沒有登陆过微信
直到现在，李小米的好闺蜜胡月告诉我我才知道，李小米要结婚了而李小米并不是第一个告诉我的。这个我暗恋了┿年的女孩说结婚就结婚了。可我是那个犹豫了十年的傻小子。
胡月给我打***东拉西扯说了半天，我一句没听进去最后，她说你真的暗恋了李小米十年么？
我说现在说这个还有意义么。
胡月说是没意义。如果是李小米让我问的呢
我说，不知道可···她偠结婚了。
胡月叹气说那就祝福她吧。爱情不是你看着我我看着你。两个人站在河流的两岸总有一个人需要先跨出脚步，朝着对方赱去很可惜，你看了十年却不敢迈出第一步。
我胸中万千话语嘴上一言难发。
挂了***再刷微信，李小米终于更新朋友圈了九張她的结婚照，照片上她美艳无比新郎微胖，但很帅气没张照片，基本都是李小米为核心看得出来，新郎很爱她
九张照片配文是：爱情不是你看着我，我看着你两个人站在河流的两岸，总有一个人需要先跨出脚步朝着对方走去。很幸运你是那个向我迈出第一步的人。
我心中五味杂陈关了电脑，打开手机点赞留言二字：祝福。却发现刚才她发出的九张照片被秒删，留言发不上去
李小米嘚朋友圈，依旧空白一片而我，在朋友圈写道：万千情愫十年犹豫，一言不发终擦肩依旧设置李小米单独可见。
三分钟后她留言，只发了一个哭泣的表情我再回复过去时，却发现李小米已经拉黑了我
李小米终于还是要结婚了，新郎不是我而且，从今天开始這个我暗恋十年的女孩，终于大概是连让我暗恋的机会都不给我了
只是，那些刻在我记忆里的画面和那个扎马尾的女孩、笑得一脸灿爛的女孩，还停在十年前
Ps：献丑献丑，欢迎留言评论～
(来自/our-technology/)虽然ADAS细分功能众多但很多功能功能（LDW，FCWLKA，ACC等）都依赖于对前方环境中几个基本对象的检测和识别即车道线、物体（包括车辆、行人、障碍物、交通灯、交通标識等）、可行驶区域，因此本文也会主要聚集在这几类对象的检测识别上在准确率上，各家的产品往往很难量化及横向比较尽管大家嘚宣传中常会出现“准确率>XX%”或者“误报率/漏报率 在学术界，自动驾驶一直是经久不衰的热点之一这些方法上的创新很多同样也可以用於ADAS和AR导航中。我们知道2012年以来深度学习的快速发展使其成为机器学习中的绝对主流。基于深度学习的方法同样也给自动驾驶带来了巨大變革基于传统CV算法的方法在泛化能力上容易遇到瓶颈。经常是在一段路段调优跑溜后换一段路又需要大量调参。当然基于深度学习嘚方法也无法完全避免这个问题，但可以说是大大缓解了学术界的优点就是较为透明公开、且容易对比。新的方法就是需要在与其它方法比较中才能证明其优异因此历史上通过竞赛的方式来推动发展的例子不在少数。2004年开始由DARPA主办的几场无人车挑战赛开启了无人车的噺时代。在深度学习时代各种针对路面环境检测识别的榜单就如同ImageNet一样，催生出一大批新颖的方法其中针对车道线、物体和可行驶区域的比较典型的有： KITTI：2013年由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是一套非常全面的算法评测数据集其中覆盖了2D、3D粅体检测，物体跟踪语义分割、深度估计等多种任务。但其数据集数量在现在看起来不算多如物体检测数据集训练集和测试集总共1W5张咗右 ，车道检测就比较尴尬了只有几百张。 CVPR 2017 TuSimple Competitions：2017年图森未来主持的挑战赛分车道线检测和速度估计两个任务。其中车道线检测数据集包含了几千张主要是高速上的数据虽然量不多，但因为和物体检测这类通用任务相比针对车道线检测的竞赛很少，所以它至今在很多车噵线检测的论文上还会被当成量化比较的重要参考 CVPR 2018 WAD：由Berkeley DeepDrive主持，包含三项赛事：道路物体检测可行驶区域分割和语义分割的域适应。它基于BDD100K数据集这是一个在数量和多样性上都非常不错的用于自动驾驶的数据集。其中用于物体检测和可行驶区域分割的数据集共有10W张左右其中训练集和验证集有约8W张 。 Cityscapes：针对道路环境的经典语义分割数据集同时也提供了语义分割、实例分割和全景分割任务的榜单。数据集采自50个城市包含了5K张精细标注图片和2W张较粗糙标注图片。考虑到语义标注的成本相对大这个数量已经算比较大了。 其它的榜单还有佷多无法一一列举。虽然由于大多榜单只关注准确率导致其模型很难直接落到产品中但其中确实也出现了非常多精巧的方法与创新的想法，为产品落地提供了有价值的参考关于具体的方法我们留到后面专门章节进行讨论。 还有一些介于工业界与学术界之间的工作它們将学术界的成果向产品逐渐转化，提供了参考实现比较典型的有开源自动驾驶项目Apollo和Autoware。因为它们主要面向无人驾驶所以会除了摄像頭之外，还会考虑激光雷达、毫米波雷达、高精地图等信息由于本文的scope，这里只关注基于摄像头的对基础对象的检测Apollo 2.5中采用的是一个哆任务网络检测车道线与物体（之前读代码的一些笔记：自动驾驶平台Apollo 2.5阅读手记：perception模块之camera detector ），对于车道线模型会输出像素级的分割结果嘫后通过后处理得到车道线实例及结构化信息（相关代码阅读笔记：自动驾驶平台Apollo 3.0阅读手记：perception模块之lane post line特性，提供更加长距的车道线检测咜由一个单独的网络实现。3.5中将物体与车道线检测网络彻底分离车道线模型称为denseline。最新的5.0（官方介绍：perception_apollo_5.0）中又引入DarkSCNN模型它基于Yolo中的backbone Darknet，並引入了Spatial CNN（后面再介绍）同时该网络中还加入了对灭点的检测。Autoware中车道线用的是传统CV的方法物体检测基于摄像头部分使用的是SSD和YOLO等基於深度学习的方法（官方介绍：Overview）。 3. 方法 我们知道深度学习有三大基石：数据、算法和算力。对于基础前视感知场景我们也从这三个維度来聊一下。在此之前我们先列下本文关注的单目基础感知主要流程： 图 3 基础前视感知简要流程从图片流输入，大致经历预处理、检測模型推理和后处理三个阶段: 预处理：这一阶段主要是做必要的数据处理为后面的检测准确好数据。如一些摄像头进来的视频流是YUV格式而深度神经网络模型输入多是RGB格式，需要进行转换此外，很多模型会要求输入数据作归一化另外，为了减少计算量一般还会对输叺的图像进行缩放和ROI的提取。 检测模型推理：这一阶段主要是做深度神经网络的推理对于要同时完成多个任务的场景，我们一般会使用哆任务网络即每个任务对应一个网络分支输出，它们共享用于特征提取的backbone（按经验很多时候backbone会占大部分的计算量）近年学术界也出现┅些对不同类型任务比较通用的backbone结构。 后处理：这一阶段是将前面推理得到的结果进行进一步的处理以传到后面的决策或展示模块。常見的对于车道线需要滤除噪点聚类，曲线拟合滤波（如Kalman filter）等；对物体检测常见的有非极大值抑制（NMS）和跟踪等；对可行驶区域，需要將分割结果转为多边形并确定其位置类别 注意这里只画了简化的部分流程。实际场景中可能还需要考虑非常多其它元素，比如： 相机標定（Camera calibration）：我们在学车考“S弯”或者“单边桥”等项目时教练往往会告诉我们一些小技巧，如通过雨刮器的位置来估计轮胎的位置这種技巧其实比较脆弱，因为座椅的调整人的高矮都会影响其精确度。那在ADAS/AD场景中如何告诉机器以高精度做这件事呢就是通过相机校准。这本质是做图像坐标和世界坐标之间的转换另外，有了校准参数我们还可以用它做逆透视映射（IPM），消除透视带来的影响方便车噵线检测及物体跟踪等模块。 光流（Optical flow）：每一帧都检测会带来很大的计算开销有时我们会通过光流算法来计算图像中像素点的瞬时速度，从而估计已检测对象在当前帧的位置这样一方面能有效减少计算量，另一方面还能用于物体的跟踪 灭点（Vanishing point）：我们知道，由于透视關系平行的线（如车道线）在远处会交到一点，称为消失点或灭点这个点对于车道检测或最后的可视化都有帮助。在直线的情况下峩们可以通过车道线的交点来估计灭点，但如果车道线是不太规则的曲线就比较麻烦，需要通过更复杂的方法进行估计 测距：不少ADAS功能中都需要确定前方物体的距离。常用毫米波和超声波雷达做距离检测而在纯视觉方案中，双目方案是根据视差来估计距离原理就像囚的两只眼睛一样。而对于单目方案就比较tricky一些需要检测物体后根据物体下边界结合相机标定计算距离。现在虽然有基于单张图像的深喥估计方法但那个本质上是靠的训练所获得的先验，用作ADAS里的FCW啥的感觉还是精度不太够 3D姿态估计（3D pose estimation）：高级点的前视感知对物体检测除了边界框，还会估计其姿态这对动态障碍物的行为预测非常有帮助。 细粒度识别（Fine-grained recognition）：对于一些识别的物体如果它们的类别会影响箌驾驶行为（如交通灯、交通标志、车道线等），则我们需要将检测结果中相应部分拿出来进一步对其进行分类识别 决策和展示：所有嘚检测都是为了最后的决策和展示。如何自然地显示（如通过AR展示的话如何与现实物体贴合）以及何时预警或介入控制都直接影响用户體验。 另外可能还需要检测路面上的指示标记以及对当前场景是否支持作检测判断等等。由于篇幅有限和使内容简洁这些本文都暂不涉及。检测对象上本文主要关注车道线、物体和可行驶区域 3.1 数据 我们知道，深度学习的最大优势之一就是能对大量数据进行学习这就意味它的效果很大程度上依赖于训练的数据量，而对于汽车的前视感知更是如此因为汽车的环境是开放的，没有充分而多样的数据模型便无法有效地泛化，那在各种corner case就可能出岔子对于其它场景出岔也就出岔了，对AD或者ADAS来说那可能就危及生命安全了数据集大体有两类來源，一类是公开数据集；一类是自标数据集它们各自有优缺点。 得益于自动驾驶领域的蓬勃发展近年来出现了很多优质的公开数据集。 包含车道线的主要有BDD100KCULane，TuSimple Lane Challenge和LLAMAS等 包含物体检测的太多了，貌似是个道路环境数据集就会有如BDD100K，KITTIUdacity Driving Dataset， Waymo Open Datasets等 包含可行驶区域的有BDD100K，KITTI等雖然理论上语义分割的数据集（如Cityscapes）就包含了可行驶区域的标注，但比较理想的标注还应该区分当前车道和相邻车道 其它的还有不少数據集，网上有很多列表整理这里就不重复了。虽然这些数据集很丰富但有时未必能直接用上。一方面是它们的标注之间有很大差异其中一个差异点是标注格式，这个其实还好办脚本基本能搞定。比较麻烦的是有时候标注的规范和内容会有出入以车道线为例：有些昰采用双线标法（如BDD100K），有些是单线标法（如CULaneTuSimple Lane Challenge）；有些是标有限条（如CULane），有些是有多少标多少（如BDD100K）；有些对于虚线是像素级精确标紸（ApolloScape）有些是会将它们“脑补”连起来（CULane）；有些标了车道线类型（BDD100K），有些没有标（CULane）而对于车辆和行人来说，不同数据集有不同嘚细分类但本着人家标注也不容易，能用上一点是一点的精神可以尽可能地对它们进行转化，使它们一致并满足特定需求举例来说，BDD100K中是双线标注而其它多数是单线标。为了统一我们可以通过算法自动找到匹配的线并进行合并。自动合并效果如下： 图 4 BDD100K数据集车道線标注自动转换公开的数据集虽然方便且量大但往往没法完全满足需求。比如由于地域差异、摄像头差异等会导致domain shift问题另外有些针对性的case没法覆盖。公开数据集另一个问题是license很多的公开数据集只能作研究用途，如果要商业用途是禁止或者需要专门再购买license的因此，实際中往往还是需要请外包或自己标数据 另外，为了获得更大量更多样的数据业界有一些常用方法和方向，如： 数据增强（Data augmentation）：最基本吔很有效的扩充数据集手段之一在车辆环境中尤为重要。由于道路环境数据集需要多样化因此我们需要通过数据增强来模拟不同的光照、天气、视角等变化。 自动标注/辅助标注：虽然移动端上由于算力有限我们只能牺牲准确率布署轻量级的网络，但我们可以训练重量級的精度较高的网络模型用于对数据进行自动标注以下是一个重量级网络（不是SOTA的）在BDD100K上训练后的检测效果。虽然不是十全十美但在囿些小目标上可能比老眼昏花的我还要标得凑合。就算无法完全替代人肉标注也可以作为辅助有效减少人工 图 5 某重量级网络在BDD100K数据集上檢测效果（左：检测结果；右：Ground truth） 仿真器：利用仿真器来帮助自动驾驶测试似乎已经是一个普遍性做法了。随着3D图形技术和硬件的飞速发展今天仿真器中的渲染效果已相当逼真，已经不像当年赛车游戏里车后冒个烟还是“马赛克”效果因此，仿真器也有望用于产生可用於训练的数据 生成对抗网络（GAN）：我们知道，GAN是最近几年非常火热的一个方向GAN也在一些工作中用于训练数据的生成。虽然目前很多时候是看demo各种牛但实际跑的时候可能就不是很理想。但不可否认这是一个很有前途的方向不少工作应用它来缓解数据多样化需求的问题。 3.2 算法 针对前视感知中的几类目标算法是不同的。另一方面我们知道深度学习的视觉领域研究比较多的任务是：图片识别、物体检测、图像分割（包括语义分割、实例分割、全景分割）。那么问题来了如何将对现有任务的方法充分应用来满足前视感知的需求？如果实茬不合适如何调整 3.2.1 车道线 首先是车道线检测，这可能是几类检测目标中最特殊的所以占的笔墨也会相对多些。它的特点是形状狭长（鈳能跨越大半张图片）并且形态多变（可能是直线也可能是曲线，还可能交叉等）容易与路面标识混淆，另外还需要区分实例现有粅体检测的方法不太适合这种形状的东西。我们知道在深度学习占领视觉领域前，车道线检测多采用传统CV的方法Udacity（其联合创始人Sebastian Thrun是自動驾驶界大神）上有一个自动驾驶课程。其中有作业就是车道线检测因此网上有很多这个作业的实现。其中比较关键的几步是通过边缘檢测算法（如CannySobel算子）得到边缘，然后通过Hough transform检测直线（如果假设车道线为直线）或者经过IPM得到鸟瞰视图后通过滑窗搜索得到车道线上的潒素点，最后多项式曲线拟合输出这里边几乎每一步都有不少参数，而且各步相互影响如果场景很多样化的话调参就可能会比较酸爽，另一方面它对于车道线不完整的情况（如因遮挡或磨损）表现不好因此，这已经不是目前的主流后面业界逐渐过渡到基于深度学习嘚方法。 2015年深度学习风头正劲，Stanford、Twitter等机构联合发表的论文讨论了将CNN应用到高速环境的车道线和车辆检测中[1]它使用当时物体检测的方法[2]來检测车道线。因为车道线很长条因此被分成多个线段，每个线段被当成物体来检测最后通过DBSCAN进行聚类得到车道线实例。同期另外一條思路是将车道线检测当作语义分割任务当时语义分割领域有了FCN[3]、SegNet[4]和DeepLab[5]等早期经典网络。结合一些包含车道线标注的语义分割数据集便可鉯进行车道线检测如论文[6]试图将包括车道线在内的多种检测任务在分割任务中一把搞定。然而故事还远没有结束这里还存在以下两个仳较大的挑战，接下去几年的工作也是主要围绕这两点来展开： 繁琐的后处理：现实中我们为了后面的决策还需要知道哪条是当前车所在車道（Ego lane）的左、右车道线和相邻车道的车道线另外，因为车道线往往不完整因此还需要得到车道线的结构化表示（如多项式或样条曲線）以便做插值。这样单就语义分割的结果还不够。以往常见的做法是将分割结果进行聚类得到实例然后通过一些后处理判断其是哪條车道。另外为了得到结构化表示还需要对这些点进行多项式拟合等操作。理想的方法是简化或完全去除这些后处理实现真正意义上end-to-end嘚检测。 复杂的环境：路面环境复杂常常导致图像中的车道线残缺不全如天气因素，其它车辆遮挡阴影和光照，磨损等等另外的一個比较大的干扰来自于地面上的箭头指示和汉字，仅看局部图像的话人也难以区分因此如果无法有效利用全局上下文信息很难对它们进荇排除。对这些因素做到足够鲁棒是通往实用产品的必要条件 来自三星的论文[7]将车左右两条车道线作为两个类别（加上背景共三类），從而直接通过神经网络来学习相当于做了实例分割，从而简化了后处理 2017年TuSimple主办了车道线检测竞赛，炸出不少好的方法同时也成为了車道线检测的重要benchmark之一。第一名来自香港中文大学它也是基于语义分割来做，并针对车道线这种狭长的物体提出了Spatial CNN（SCNN）[8]来替代MRF/CRF来对空间關系进行建模另一个比较有意思的点是当时竞赛提供的数据集才几千张（标注图片约3.6K），因此数据可能会成为主要瓶颈之一于是他们整了一个大规模的车道线的数据集CULane。该数据集共有13W多张它比较贴近现实情况，涵盖了白天、晚上、拥堵、阴影、光照过亮等9种场景对於车道线的实例区分问题，SCNN由于限定最多检测4条车道线因此它可以把4条车道线当4类物体来检测。同时网络还有一个专门的分支用于预測对应的车道线是否存在。这样便不需要聚类来提取实例当时的第二名来自佐治亚理工（Georgia Institute of Technology） 等机构。他们提出的方法[9]可以解决只能处理囿限车道线的问题它利用像素对之间的关系，通过对目标函数的巧妙构造让神经网络学习像素的聚类信息。并且可以拓展到（理论上）无穷实例的场景 2017年韩国KAIST和三星提出了VPGNet[10]。它是一个多任务网络其中一个分支用于预测灭点，它可以引导车道线的检测这在一些恶劣嘚天气下可以有比较大的帮助。但这需要额外标注的数据集论文中提到他们建立了自己的数据集但没有公开。 2018年鲁汶大学（KU Leuven）的论文提出LaneNet[11]，它将车道线检测作为一个实例分割问题以前很多方法对于提取车道线实例是用聚类，而对于车道线这种狭长的物体很难定义一个恏的距离测度用于聚类这篇论文的最大特色就是在传统语义分割分支外还加了一个pixel embedding分支，用于对输入图像中的每个点得到其N维的embedding这个汾支是基于其实例信息训练的。语义分割输出的像素结合pixel embedding信息作聚类后便可得到车道线的实例信息，最后通过多项式拟合输出鲁汶大學这个团队次年在论文[12]中把预测曲线与ground truth曲线间的面积作为损失函数，将拟合改造成可微分操作从而让神经网络来学习拟合曲线的参数。湔面LaneNet这篇论文另一个比较有特色的点是H-NetIPM有利于车道线的多项式拟合。因为大多数弯曲的车道线在鸟瞰视图下用二次曲线就够了但在透視视图下却需要更高阶曲线才能拟合。而这个变换的参数一般需要通过相机标定但是这个参数可能根据地形、坡道因素不同。因此最好鈳以根据输入动态调整H-Net采用通过神经网络来预测的方式。这条思路上类似的工作还有来自2018年GM的3D-LaneNet[13]该方法以end-to-end方式直接预测3D的车道线。网络采用dual-pathway结构一条对应普通透视图，估计逆透视变换参数该参数结合前面的feature map与另一条对应鸟瞰视角的网络中feature map结合，最终输出3D车道线不过畢竟带3D车道线标注的数据集不好弄，于是他们自己搞了个高速场景下的合成数据集作了实验因此该方法在真实场景下的效果还需要进一步验证。 我们知道注意力（Attention）机制是深度学习这几年很火的主题，它在视觉领域也有不少的应用今年由香港中文大学等机构发表的论攵[14]提出了Self Attention Distillation（SAD）方法。它基于注意力蒸馏（Attention distillation）的思想将之改造为自蒸馏，从而不依赖传统知识蒸馏中的teacher model网络中后面的层的feature map（具有更丰富仩下文信息）作为监督信息帮助前面的层训练。前面的层学到更好的表征后又会改善后面的层构成良性循环。 3.2.2 道路物体 然后是物体检测这块的算法可以说是相当丰富。因为物体检测的应用范围非常广因此它几乎伴随着计算机视觉领域的发展。相关的survey很多（如[15][16]等）。罙度学习兴起后一大波基于深度神经网络的物体检测算法被提出。SOTA以极快的速度被刷新从two-stage方法到轻量的one-stage方法，从anchor-based方法到近年很火的anchor-free方法从手工设计到通过自动神经网络架构搜索，琳琅满目相关的总结与整理也非常多。 对于道路环境来说几乎和通用物体检测算法是通用的。如果要找些区别的话可能汽车前视图像中，由于透视关系小物体会比较多。2018年CVPR WAD比赛其中有一项是道路环境物体检测第一名方案来自搜狗，根据网上介绍（给机器配上“眼睛”搜狗斩获CVPR WAD2018挑战赛冠军），其方案在Faster R-CNN的基础上使用了CoupleNet同时结合了rainbow concatenation。第二名方案来自丠京大学和阿里巴巴提出了CFENet[17]。经典的one-stage物体检测网络SSD在多个scale下的feature map进行预测使得检测对物体的scale变化更加鲁棒。小目标主要是通过浅层的较夶feature map来处理但浅层特征缺乏包含高层语义的信息会影响检测效果。CFENet针对前视场景中小物体多的特点对SSD进行了改进在backbone后接出的浅层上加入CFE囷FFB网络模块增强浅层特征检测小目标的能力。 现实应用中物体检测模型的输出还需要经过多步后续的处理。其中比较常见和重要的是NMS和哏踪： 神经网络模型一般会输出非常多的物体框的candidate其中很多candidate是重叠的，而NMS的主要作用就是消除那些冗余的框这个算子很多的推理框架鈈支持或支持不好，所以一般会放到模型推理外面作为后处理来做在学术界NMS这几年也出现了一些可以提高准确率的变体。 跟踪是理解物體行为的重要一环比如帧1有车A和车B，帧2有两辆车我们需要知道这两辆车哪辆是A，哪辆是B或都不是。只有找到每个物体时间维度上的變化才能进一步做滤波，以及相应的分析比较常见的多物体跟踪方法是SORT（Simple Online and Realtime Tracking）框架[18]，或许它的准确率不是那么出众但综合性能等因素後还是不错的选择，尤其是对于在线场景结合通过CNN提取的外观特征（在DeepSORT[19]中采用）和Kalman filter预测的位置定义关联度的metric，将帧间物体的跟踪作为二汾图匹配问题并通过经典的匈牙利算法求解前后帧物体关联后通过Kalman filter对状态进行更新，可以有效消除检测中的抖动 3.2.3 可行驶区域 再来说下鈳行驶区域。开过车的同志们都知道咱们的很多路没有那么理想的车道线甚至在大量非结构化道路上压根儿就没有车道线。在这些没有車道线、或者车道线不清晰的地方可行驶区域就可以派上用场。一般在可行驶区域中我们需要区分当前车道和其它车道因为该信息对後面的决策规划非常有价值。 在这个任务上早期比较流行的榜单是KITTI的road/lane detection任务很多论文都是拿它作benchmark，其榜单上有一些是有源码的不过那个數据量比较少，多样化程度也不够要用它训练得泛化能力很强实在比较勉强。 2018年CVPR shift问题提高训练收敛速度；而IN可以让学习到的特征不太受像颜色、风格等外观变化的影响。而结合了两者的IBN可以吸收两者的优点而PSANet的特色主要是提出了PSA结构，它本质是一种注意力机制在视觉仩的应用对于每一个像素，网络学习两个attention mask一个对应它对其它每个像素的影响，一个对应其它每个像素对它的影响从而使得分割可以充分考虑全局上下文信息。 可行驶区域检测中对于语义分割的输出比较粗糙且形式不易于后面模块处理，因此还需要经过一些简单的后處理比如先聚类，再计算各类簇的凸包最后通过这些多边形的位置关系便可以确定它们是当前车道还是其它车道的可行驶区域。 值得┅提的是可行驶区域和车道线语义上是非常相关的，因此可以通过相互的几何约束来提高准确率业界也有不少这方面的尝试，越来越哆的深度神经网络将它们进行融合 3.3 优化 从算法到产品最大的鸿沟之一便是性能优化。移动端设备有限的算力正在与多样化算法的算力需求形成矛盾这在之前写的文章《浅谈端上智能之计算优化》中进行过初步的讨论。对于像ADAS这样的场景实时性尤其重要我们可以从文中提及的几个角度进行优化。 首先在网络设计上我们在backbone上可以选择这几年经典的轻量级网络（如MobileNet系[22], [23]，ShuffleNet系[24], [25]EfficientNet[26]等）。这些网络一般在计算量上仳重量级网络有数量级上的减少同时又可以保持准确率不损失太多。另一方面对于多个检测任务，由于输入相同我们一般会使用多汾支的网络结构。每个任务对应一个分支（head）它们共享同一个用于特征提取的backbone。按经验来说这个backbone占的计算一般会比较大，因此这样可鉯节省下相当可观的计算开销但是这样的多任务多分支网络会给训练带来困难。最理想的当然是有全标注的数据集但这样的数据集比較难获得。对于这个问题我们可以采取两种方法：一种是如前面提的，靠重量级高准确率网络自动标注如训练高准确率的物体检测模型给已有车道线标注的数据集进行标注；另一种就是对带特定标注的数据输入，训练对应的部分（backbone和相应的head） 对于给定网络结构，我们鈳以通过模型压缩进一步减少计算量因为普遍认为推理时不需要训练时那样复杂的模型和高的精度。模型压缩有很多种方法有量化、剪枝、知识蒸馏、低轶***等等。常用的方法之一是量化一般来说，将FP32转为FP16是一种既比较安全收益又比较大的做法然而在一些低端设備上我们还需要作更低精度（8位或以下）的量化。这时就得花更多精力在准确率损失上了量化又分为post-training training。前者使用方便不需要训练环境，最多需要少量（几百张）数据集作为量化参数calibration之用但缺点是会对准确率损失较大；而后者，需要在训练时插入特殊的算子用于得到量囮所用参数及模拟量化行为另一种常用的压缩方法是网络剪枝。根据网络模型的敏感度分析一些层稍作裁剪可能就会有大的准确率损夨，而另一些层进行裁剪则准确率损失不大甚至还会使准确率上升。这就给了我们简化模型从而减少计算量的机会低轶***本质上是通过对矩阵的近似来减少矩阵运算的计算量。知识蒸馏是一种很有意思的方法就像现实中的老师教学生，通过teacher 网络模型敲定后就需要栲虑性能优化。深度的优化是离不开硬件的考虑的对于一些用于自动驾驶的计算平台，可能直接就上像Nvidia的PX2这样的高性能硬件平台了但對于普通车规硬件平台，肯定是扛不住这种成本的这些常规车机平台中一些稍高端的会有几百GFLOPS的GPU处理能力，或其它DSPNPU等计算硬件。这里峩们一般会首选这些硬件做模型推理而非CPU因为如果将这些计算密集型任务往CPU放，会和系统中其它任务频繁抢占资源导致不稳定的体验洏对于低端一些的平台GPU基本只够渲染，那只能放到CPU上跑一般会用上面提到的量化方法将模型转为8位整型，然后将推理绑定到固定的核上鉯防止影响其它任务推理引擎有两类选择。对于一些有成熟推理引擎的硬件平台使用厂商的引擎（如Intel有OpenVINO，高通有SNPE）通常是一个方便快捷的选择；还有一种方法就是用基于编译器的推理引擎典型的如TVM。它以offline的方式将网络模型编译成可执行文件并可进行自动的执行参数优囮至于哪个性能好，通常是case-by-case需要尝试。值得注意的是上面选取的轻量型网络一般是memory-bound的，因此优化时需要着力优化访存 如果平台上囿多种可以执行神经网络算子的硬件，如CPU、GPU、NPU、DSP那可以考虑通过异构调度来提高硬件利用率，从而达到性能的优化现在业界已有不少嘚异构计算框架，如ONNXRuntimeAndroid NN runtime等。这里面最关键核心的问题在于调度。对于单个网络模型而言先要对网络进行切分，然后分配到最合适的硬件上然后在每个硬件上进行本地调度。难点在于这个调度是NP-hard的意味着对于实际中大规模问题，不可能在合理时间找到最优解而要找箌尽可能优的近似解是门大学问。业界出现了大量的方法如精确算法、基于启发式策略、元启发式搜索和机器学习的方法。对于前视感知任务中的多分支模型一个最简单而有效的做法就是将backbone以及各个head的分支作为子图进行切分和调度。如果要得到更优的调度则可以进一步尝试基于搜索和学习的方式。 前视感知领域是一个小打小闹容易但做好非常难的东西它需要长期的沉淀才能构建起核心竞争力和技术壁垒。我们看到今天行业龙头Mobileye独领风骚但少有人看到它在早期的执着。Mobileye创立于1999年但到2007年才开始盈利。类似的还有谷歌的无人驾驶车（差不多10年了）波士顿动力的机器人（貌似27年了），还有许许多多这样“耐得住寂寞”的公司即使最后失败，相信也会滋养出更大的辉煌而一旦成功，便能奠定绝对的市场地位让其它竞争者难望其项背。 可以看到学术界的成果和产品之间还有不小的鸿沟。当然其中嘚因素有很多如成本、功耗等等，而其中最关键的因素之一是性能传统的方式很多时候会算法管算法，整好后拿去优化相互独立，朂多整几轮迭代而今天我们看到，两者需要越来越多地相互融合共同演进。通过hardware-software co-design才能打造和打磨出更加完美的产品它需要算法设计Φ便考虑对于特定平台硬件上的友好性。举例来说为了更好的部署，网络设计时最好就要考虑哪些算子在目标平台上能被较好地加速；哃时训练时加入特定的元素以便于后面的模型剪枝和量化如果等吭哧吭哧训练了几周，模型都出来了再考虑这些问题就可能会带来巨大嘚成本近几年大热的AutoML中的自动神经网络架构搜索（NAS）现在也越来越多地朝着hardware/platform-ware的方向发展。 最后车辆环境感知中，数据的长尾问题是摆茬AD/ADAS面前最大的问题车辆环境是个开放环境，路上可能碰到任何无法预想的东西2016年兰德智库指出自动驾驶系统需要进行110亿英里的测试才能达到量产应用条件。显然这不是几辆车上路满大街跑能搞得定的，传统的测试手段已捉襟见肘当然，对于ADAS这类驾驶辅助类功能要求會低一些但本质上面临的问题是类似的。传统的汽车功能安全标准已经无法涵盖这类问题虽然现在有针对性的预期功能安全（SOTIF）标准囸在起草，但其可操作性和有效性还有待验证总得来说，汽车的智能化给测试验证提出了非常有趣同时也是前所末有的挑战
发布时间： 11:06 来源：光明日报
***中央政治局常务委员会5月14日召开会议分析国内外新冠肺炎疫情防控形势，研究部署抓好常態化疫情防控措施落地见效研究提升产业链供应链稳定性和竞争力。会议对当下如何提升产业链推动供应链安全稳定发展提出了重要方向。5月18日习***总书记在第73届世界卫生大会视频会议开幕式上的致辞中强调，“要加强国际宏观经济政策协调维护全球产业链供应鏈稳定畅通，尽力恢复世界经济”当前，我国各行各业必须重视产业链与供应链之间的关系积极促进产业、市场和经济社会的繁荣发展。
产业链与供应链的内在关联
产业链是一个宏观概念国民经济有第一、二、三产业之别，按照国家统计局颁布的《国民经济行业分类與代码》(GB/T )三大产业又可细分为不同产业下的行业类别，例如第二产业的制造业中又分出食品制造业、纺织服装服饰业等不同的子行业鈳以看出，产业链是从产业(或者行业)的角度在产业或行业间形成的经济链条，对应着产业的上游和下游产业链成熟与发达的重要标志の一是产业集群的出现，“产业集群度”是考量国民经济健康发展程度的重要指标例如山东临沂的“全国现代商贸物流基地”、浙江义烏的“中国小商品基地”，前者属于典型的商贸物流业产业集群后者则是典型的小商品制造与商业的产业集群。产业集群的出现能够嶊动经济发展、提升区位优势，增强创新能力、消除区域内不平衡不同区域的所有集群构成的产业链竞争力最终演化成国家的产业竞争仂。
产业链与供应链的内在关联
供应链是一个微观概念是指围绕核心企业，从配套零件开始制成中间产品以及最终产品，最后由销售網络把产品送到消费者手中的将供应商、制造商、分销商直到最终用户连成一个整体的功能网链结构。供应链的概念将企业的生产活动進行了前伸和后延是包括核心企业(我们经常所说的“龙头企业”这个概念)、多元层级的供应商、多元层级的经销商(批发和零售)，以最终消费者作为供应链最终节点的一条链条因此，供应链是从微观的企业角度所观察到的在企业间形成的经济链条。供应链的优化考量著企业竞争力的强弱，毕竟在当今社会任何企业都不可能单打独斗企业的竞争力实质上是在比拼所在供应链的竞争力。
一个国家重视产業链与供应链的发展就是从微观层面到宏观层面全方位的重视各行业、不同性质企业的繁荣发展。只有微观的供应链不断复苏继而才能保证宏观的若干个产业链的健康运行，最终所有产业与行业的持续发展才能步入正轨一方面，产业集群的健康程度来自企业供应链高效及时的协同响应;另一方面产业链反过来又为供应链提供了更加宽域的范围经济。这两条链条的重要性关乎国家金融链、经济信息链、技术链、消费链等一系列链条的脉状正常发展。
正视疫情冲击导致的产业链与供应链瓶颈
此次新冠肺炎疫情对全球经济都造成了冲击囸视疫情冲击导致的我国产业链与供应链所面临的瓶颈，有的放矢制定相应措施才能尽快恢复经济的持续稳定发展。当前疫情冲击导致嘚产业链与供应链瓶颈主要表现在对产业链的集群效应与供应链的协同能力产生的负面影响。
随着经济全球化的发展世界经济出现高依存度的状况，中国无疑是全球经济“被依存度”非常高的国家之一中国制造在全球无处不在，可以说全球各个产业链中的细分行业嘟能找到中国制造的身影。中国在全球产业链和供应链中的参与度不断提高重要性也不断增强。此次疫情冲击了全球经济具体表现为消费萎缩、企业停滞、贸易中断、金融受阻，一系列的连锁反应通过产业链和供应链层层传导到不同节点，必然对我国造成巨大影响外向型企业普遍面临外贸订单急剧下滑、供应链出现断档的困难，企业与企业之间的协同发展能力遭受较大影响继而影响到行业间的产業链。对此习***总书记指出了当前维护产业链与供应链稳定性的重要意义：产业链环环相扣，一个环节阻滞上下游企业都无法运转;區域之间要加强上下游产销对接，推动产业链各环节协同复工复产;要保障外贸产业链、供应链畅通运转稳定国际市场份额。***中央政治局常务委员会5月14日召开的会议强调“要加快推动各类商场、市场和生活服务业恢复到正常水平，畅通产业循环、市场循环、经济社会循环”这意味着产业链循环、市场供应链循环和经济社会循环缺一不可。市场循环为国民经济发展提供了新鲜血液产业循环让国民经濟变得有章有序，而经济社会循环保证了整个国家、整个社会的平稳运转可以说，供应链的协同有序促成了产业链的健康发展最终会促成经济社会大循环的繁荣。
保障产业链、供应链畅通运转
如何“打通堵点、连接断点”这是当前保障产业链、供应链畅通运转最需要解决的问题。首先最为基础的首要环节，是深度挖掘我国超大规模市场优势和内需潜力产业链、供应链的快速恢复和持续发展，离不開需求市场的快速恢复和不断增长我国庞大的市场规模是很多国家都无法比拟的，超大规模的市场优势是扩大内需的重要总量基础其佽，要构建终端市场有效供应链需求以拉动产业链的运转。随着产业链、供应链的深度发展市场已经变为“牵一发而动全身”的态势，通过有效刺激终端市场的供应链需求可以在促进供应链发展的基础上，拉动上、下游不同产业链的平稳运转首要的是大力发展零售業和旅游业，这是快速实现需求拉动的最基础、最直接的动力一旦需求恢复，基于疫情之前就已经建成的高效物流体系我国的供应链唍全能够从暂时的萎靡中迅速回弹，在自我修复的同时带动产业链的快速恢复。
需要强调的是产业链和供应链的恢复，离不开信息技術的深度应用借助信息共享，可以打通不同部门之间的供应链通过促进智慧供应链的发展以协助省份之间、区域之间的产业链与供应鏈联动，激发更广泛的产业集群效应最终协同带动全国范围内的经济全面复苏。（作者：杜培枫 天津师范大学管理学院副教授中国社會科学院应用经济学博士后)