自动驾驶超全的公开课合集 | 从感知到定位建图，再到规控与就业！
时间：2021-11-01 14:28:12
手机看文章
扫描二维码
随时随地手机看文章
[导读]无人驾驶近几年在人们的视野中出现地越来越频繁，并且随着计算机科学、智能控制技术的发展，研究者和企业对无人驾驶的探索更加深刻。特斯拉、Waymo、蔚来、百度，国内外企业大笔投入资金，推动了自动驾驶的发展进程。自动驾驶是智能交通的必然趋势，行业求职者也越来越多，深蓝学院整理了20节自...
无人驾驶近几年在人们的视野中出现地越来越频繁，并且随着计算机科学、智能控制技术的发展，研究者和企业对无人驾驶的探索更加深刻。特斯拉、Waymo、蔚来、百度，国内外企业大笔投入资金，推动了自动驾驶的发展进程。自动驾驶是智能交通的必然趋势，行业求职者也越来越多，深蓝学院整理了20节自动驾驶公开课合集，包括感知、定位建图、规控以及就业等四个部分。
1
感知
1.无人驾驶中感知的挑战与尝试讲师：邹晓艺元戎启行点云感知方向技术负责人毕业于华南理工大学，曾就职于百度自动驾驶事业部，目前负责自动驾驶感知模块的算法研发。在自动驾驶中，感知系统相当于自动驾驶汽车的眼睛，需要理解整个场景，包括检测自动驾驶汽车周围环境中的障碍物，同时需要对这些障碍物进行跟踪获得速度和预测其在未来一定时间内的轨迹。由于无人驾驶场景的复杂性和多样性，对感知系统提出了非常高的挑战。本次公开课重点介绍下感知基本的模块和典型方法，同时分享一些实际路测场景中遇到的问题和一些思考。2.自动驾驶感知算法简介讲师：王弢小鹏汽车自动驾驶北美视觉感知负责人，原Drive.ai联合创始人。毕业于斯坦福大学，目前主攻深度学习在自动驾驶领域的应用。环境感知是自动驾驶的核心技术之一，由于环境的复杂多变，自动驾驶的感知面临诸多挑战。通常来说，量产的环境感知方案需要满足准确、完备、实时、经济等特性。 本次公开课将重点讲解视觉感知算法的发展历程以及发展趋势，同时介绍量产的感知算法开发流程。3.自动驾驶感知前沿技术介绍讲师：周寅Waymo研发经理、特拉华大学博士
为了让无人车自己思考，我们要先教会它如何理解周围的世界。伴随着深度学习的崛起和算力的提升，这些年环境感知性能得到了长足的进步。本次公开课将围绕scalability，重点介绍环境感知中的热点研究方向和前沿技术动态。通过这节课，学员将对自动驾驶系统架构有一个整体的理解，并且对感知系统的核心问题以及前沿动态有比较深入的认识。4.自动驾驶纯视觉3D物体检测算法讲师：王岩康奈尔大学博士
本次课程将针对自动驾驶场景，详细介绍以相机为主的纯视觉3D物体检测算法，剖析以特斯拉为代表的使用纯视觉的物体检测方案的优势和劣势。通过本次课程，你将学习如何用深度学习进行深度估计、3D物体检测，同时了解纯视觉3D物体检测存在的挑战。5.3D物体检测的发展与未来讲师：祁芮中台Waymo高级研究科学家、斯坦福大学博士、清华大学本科
3D物体检测在增强现实、机器人与自动驾驶中都有着普遍的应用。随着业界需求的增加与深度学习的出现，相关的算法在近几年有了长足的进步。本次公开课将从技术发展的角度，介绍几种经典的3D物体检测算法以及它们之间的联系，并延伸讨论目前方法的局限性和未来的研究方向。通过这节课，学员将能对3D物体检测算法有一个全局的认识，并且能了解潜在的研究机会。6.移动机器人视觉三维感知的现在与将来讲师：王凯旋香港科技大学UAV group博士
相比于其他传感器，相机能提供丰富的场景信息，同时在尺寸、重量、功耗及成本上有着巨大的优势，因此被广泛应用于移动机器人领域。在这个技术分享会上，我将介绍基于视觉的三维环境感知方案，即通过图像序列对环境的三维结构进行估计和重建；将介绍基于多视角几何的方案以及当前基于深度学习的方案。这些方案被成功地应用于无人机的自主飞行中。随着技术的发展，我们也发现一些其他的场景表示方案， 我们将探讨这些方案将会如何影响未来的实时三维场景重建技术。7.基于点云场景的三维物体检测算法及应用讲师：史少帅香港中文大学多媒体实验室博士生，研究方向为计算机视觉与深度学习，专注于深度学习在三维场景理解上的应用。
3D object detection has been receiving increasing attention from both industry and academia thanks to its wide applications in various fields such as autonomous driving and robotics. In this tutorial we will first introduce the basic concepts of 3D object detection from point clouds, and then we will focus on three recent works to learn various deep learning methods about point-cloud-based 3D object detection. 8.基于三维点云场景的语义及实例分割讲师：杨波牛津大学计算机系在读博士，研究方向为计算机视觉与深度学习。
讲师：胡庆拥牛津大学计算机系在读博士，国防科技大学硕士，研究方向为3D视觉、机器人、机器学习。
Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as autonomous driving, virtual reality, and robotics. In this tutorial, we will first give a brief introduction to the task of point cloud segmentation, as well as several milestones works in this area. Then, we will focus on two recent works from our group, including RandLA-Net, which is an efficient and lightweight neural architecture to directly infer per-point semantics for large-scale point clouds, and 3D-BoNet, which is a novel, conceptually simple and general framework for instance segmentation on 3D point clouds.9.深度学习在点云识别中的应用讲师：刘永成中科院自动化所在读博士，研究兴趣包括3D点云处理、图像分割、多标签图像分类等。
讲师：李瑞辉
香港中文大学计算机系在读博士，主要研究方向为三维点云处理，三维重建等。
Part I1. 背景简介：3D表示及分析方法；点云识别面临的挑战2. 相关工作：规则化处理；PointNet系列；图卷积方法；卷积核设计3. 一些探索：Relation-Shape CNN （CVPR 2019）；DensePoint （ICCV 2019）4. 总结展望Part II1. 背景介绍: 数据增广 (Data Augment)，以及2D图像中的AutoAugment的工作；2. 初次探索: AutoAugment 在3D点云分类中的应用：PointAugment（CVPR 2020 Oral)10.点云上的卷积神经网络及其部分应用讲师：李伏欣美国俄勒冈州立大学助理教授，2009年获中科院自动化研究所工学博士学位。
Convolutional Neural Networks (CNNs) have led to a revolution in the recognition of raster images. However, many data, especially 3D data, come naturally in the form of point clouds where raster-based convolution operations are not readily available to be used. In this tutorial we will discuss several recent work that make it possible to build a convolutional network or similar operations on point clouds.
2
定位建图
1.视觉SLAM基础讲师：高翔慕尼黑工业大学博士后、清华大学自动化系博士
Lecture 1.三维几何基础知识介绍1).SLAM的定义、基础框架与数学表达形式2).三维几何学基础知识3).状态估计、非线性优化与最小二乘的原理4).李群与李代数Lecture 2.SLAM前端与后端原理介绍1).特征点法的视觉里程计2).光流法的视觉里程计3).增量式优化、批量式优化与位姿图2.语义信息增强的激光雷达SLAM讲师：陈谢沅澧德国波恩大学博士生，师从Cyrill Stachniss教授，RoboCup机器人世界杯救援机器人组技术委员会成员。准确可靠的定位与建图是大多数移动机器人以及无人车系统的关键组成部分。激光雷达传感器凭借其高精度以及对光照变化十分鲁棒等优点，目前被广泛应用于SLAM问题中。近年来，随着深度学习的发展，语义信息在机器人定位与建图中的起到了越来越重要的作用。语义信息包含对环境更高层级的理解，可以为SLAM提供更可靠的数据关联，帮助SLAM在现实复杂地动态环境中更加鲁棒地进行运动估计，从而实现更高精度地定位与建图。同时，语义信息还可以帮助SLAM进行更可靠的地点识别以及闭环检测。3.深度学习与视觉SLAM讲师：杨楠慕尼黑工业大学博士生，师从Daniel Cremers教授，主要研究方向为视觉SLAM及其与深度学习的融合。
在视觉SLAM领域，近年来以深度学习技术为代表的层次化图像特征提取方法，并成功应用于SLAM帧间估计和闭环检测。深度学习算法是当前计算机视觉领域主流的识别算法，其依赖多层神经网络学习图像的层次化特征表示，与传统识别方法相比，可以实现更高的识别准确率。同时，深度学习还可以将图像与语义进行关联，与SLAM技术结合生成环境的语义地图，构建环境的语义知识库，供机器人进行认知与任务推理，提高机器人服务能力和人机交互的智能性。4.视觉SLAM开源代码论文带读（ORB_SLAM2）讲师：刘国庆ORB_SLAM2：视觉SLAM领域中特征点法的代表作，也是首个同时适用于单目、双目和RGB-D相机的开源SLAM方案。代码主要分为三个线程：前端实时定位跟踪、后端优化建图与回环检测。整套代码几乎涉及到了视觉SLAM系统的方方面面：从单目系统初始化、特征提取匹配，到LocalBA、GlobalBA的优化设计，到关键帧的选取、地图的复用，以及诸多巧妙设计的工程技巧等等。代码结构较为清晰，称得上是最适合新手学习的第一套VSLAM代码。5.因子图的理论基础与在机器人中的应用讲师：董靖佐治亚理工学院计算机博士，主要研究方向包括机器人学、机器人领域相关的感知问题。近十几年来，作为一种概率图模型，因子图在机器人领域（特别是SLAM问题）中得到广泛的应用。在大规模SLAM问题上，因子图与传统卡尔曼滤波相比，具有速度快、精度高等优点。在本次讲座中，我们将初步了解因子图模型以及因子图在机器人学中的应用。
3
规控
1.量产自动驾驶中的规划控制现状讲师：肖志光小鹏汽车创始团队成员
小鹏汽车自动驾驶产品开发高级总监小鹏XPILOT2.0辅助驾驶系统量产主导者规划控制是自动驾驶核心技术之一，主要解决车在路上如何行驶的问题，需要综合考虑行驶过程中的碰撞安全、交通规则、驾乘舒适性、节能高效等特性。本次公开课重点介绍自动驾驶中规划控制的主要功能，并分享量产自动驾驶研发中的实际难点及解决思路。2.视觉导航：从状态估计到运动规划讲师：张子潮苏黎世大学Robotics and Perception Group博士生，导师为Davide Scaramuzza教授。主要研究方向为视觉SLAM及其在移动机器人导航中的应用。
1).基于视觉的状态估计1.1)视觉SLAM简介1.2) 移动机器人视觉SLAM算法的特点2).考虑感知约束的运动规划2.1) 理论工具:Fisher Information2.2) 基于Fisher Information的运动规划和地图表示3).总结与展望3.视觉状态估计及其在无人系统中的应用讲师：宋宇纵目科技无人驾驶事业部首席科学家，北京交通大学自动化系副教授。
感知、状态估计、规划、控制是机器人自主移动的核心要素，其中，状态估计处于技术体系的核心位置。该报告将首先为大家梳理典型视觉（
1
感知
1.无人驾驶中感知的挑战与尝试讲师：邹晓艺元戎启行点云感知方向技术负责人毕业于华南理工大学，曾就职于百度自动驾驶事业部，目前负责自动驾驶感知模块的算法研发。在自动驾驶中，感知系统相当于自动驾驶汽车的眼睛，需要理解整个场景，包括检测自动驾驶汽车周围环境中的障碍物，同时需要对这些障碍物进行跟踪获得速度和预测其在未来一定时间内的轨迹。由于无人驾驶场景的复杂性和多样性，对感知系统提出了非常高的挑战。本次公开课重点介绍下感知基本的模块和典型方法，同时分享一些实际路测场景中遇到的问题和一些思考。2.自动驾驶感知算法简介讲师：王弢小鹏汽车自动驾驶北美视觉感知负责人，原Drive.ai联合创始人。毕业于斯坦福大学，目前主攻深度学习在自动驾驶领域的应用。环境感知是自动驾驶的核心技术之一，由于环境的复杂多变，自动驾驶的感知面临诸多挑战。通常来说，量产的环境感知方案需要满足准确、完备、实时、经济等特性。 本次公开课将重点讲解视觉感知算法的发展历程以及发展趋势，同时介绍量产的感知算法开发流程。3.自动驾驶感知前沿技术介绍讲师：周寅Waymo研发经理、特拉华大学博士
为了让无人车自己思考，我们要先教会它如何理解周围的世界。伴随着深度学习的崛起和算力的提升，这些年环境感知性能得到了长足的进步。本次公开课将围绕scalability，重点介绍环境感知中的热点研究方向和前沿技术动态。通过这节课，学员将对自动驾驶系统架构有一个整体的理解，并且对感知系统的核心问题以及前沿动态有比较深入的认识。4.自动驾驶纯视觉3D物体检测算法讲师：王岩康奈尔大学博士
本次课程将针对自动驾驶场景，详细介绍以相机为主的纯视觉3D物体检测算法，剖析以特斯拉为代表的使用纯视觉的物体检测方案的优势和劣势。通过本次课程，你将学习如何用深度学习进行深度估计、3D物体检测，同时了解纯视觉3D物体检测存在的挑战。5.3D物体检测的发展与未来讲师：祁芮中台Waymo高级研究科学家、斯坦福大学博士、清华大学本科
3D物体检测在增强现实、机器人与自动驾驶中都有着普遍的应用。随着业界需求的增加与深度学习的出现，相关的算法在近几年有了长足的进步。本次公开课将从技术发展的角度，介绍几种经典的3D物体检测算法以及它们之间的联系，并延伸讨论目前方法的局限性和未来的研究方向。通过这节课，学员将能对3D物体检测算法有一个全局的认识，并且能了解潜在的研究机会。6.移动机器人视觉三维感知的现在与将来讲师：王凯旋香港科技大学UAV group博士
相比于其他传感器，相机能提供丰富的场景信息，同时在尺寸、重量、功耗及成本上有着巨大的优势，因此被广泛应用于移动机器人领域。在这个技术分享会上，我将介绍基于视觉的三维环境感知方案，即通过图像序列对环境的三维结构进行估计和重建；将介绍基于多视角几何的方案以及当前基于深度学习的方案。这些方案被成功地应用于无人机的自主飞行中。随着技术的发展，我们也发现一些其他的场景表示方案， 我们将探讨这些方案将会如何影响未来的实时三维场景重建技术。7.基于点云场景的三维物体检测算法及应用讲师：史少帅香港中文大学多媒体实验室博士生，研究方向为计算机视觉与深度学习，专注于深度学习在三维场景理解上的应用。
3D object detection has been receiving increasing attention from both industry and academia thanks to its wide applications in various fields such as autonomous driving and robotics. In this tutorial we will first introduce the basic concepts of 3D object detection from point clouds, and then we will focus on three recent works to learn various deep learning methods about point-cloud-based 3D object detection. 8.基于三维点云场景的语义及实例分割讲师：杨波牛津大学计算机系在读博士，研究方向为计算机视觉与深度学习。
讲师：胡庆拥牛津大学计算机系在读博士，国防科技大学硕士，研究方向为3D视觉、机器人、机器学习。
Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as autonomous driving, virtual reality, and robotics. In this tutorial, we will first give a brief introduction to the task of point cloud segmentation, as well as several milestones works in this area. Then, we will focus on two recent works from our group, including RandLA-Net, which is an efficient and lightweight neural architecture to directly infer per-point semantics for large-scale point clouds, and 3D-BoNet, which is a novel, conceptually simple and general framework for instance segmentation on 3D point clouds.9.深度学习在点云识别中的应用讲师：刘永成中科院自动化所在读博士，研究兴趣包括3D点云处理、图像分割、多标签图像分类等。
讲师：李瑞辉
香港中文大学计算机系在读博士，主要研究方向为三维点云处理，三维重建等。
Part I1. 背景简介：3D表示及分析方法；点云识别面临的挑战2. 相关工作：规则化处理；PointNet系列；图卷积方法；卷积核设计3. 一些探索：Relation-Shape CNN （CVPR 2019）；DensePoint （ICCV 2019）4. 总结展望Part II1. 背景介绍: 数据增广 (Data Augment)，以及2D图像中的AutoAugment的工作；2. 初次探索: AutoAugment 在3D点云分类中的应用：PointAugment（CVPR 2020 Oral)10.点云上的卷积神经网络及其部分应用讲师：李伏欣美国俄勒冈州立大学助理教授，2009年获中科院自动化研究所工学博士学位。
Convolutional Neural Networks (CNNs) have led to a revolution in the recognition of raster images. However, many data, especially 3D data, come naturally in the form of point clouds where raster-based convolution operations are not readily available to be used. In this tutorial we will discuss several recent work that make it possible to build a convolutional network or similar operations on point clouds.
2
定位建图
1.视觉SLAM基础讲师：高翔慕尼黑工业大学博士后、清华大学自动化系博士
Lecture 1.三维几何基础知识介绍1).SLAM的定义、基础框架与数学表达形式2).三维几何学基础知识3).状态估计、非线性优化与最小二乘的原理4).李群与李代数Lecture 2.SLAM前端与后端原理介绍1).特征点法的视觉里程计2).光流法的视觉里程计3).增量式优化、批量式优化与位姿图2.语义信息增强的激光雷达SLAM讲师：陈谢沅澧德国波恩大学博士生，师从Cyrill Stachniss教授，RoboCup机器人世界杯救援机器人组技术委员会成员。准确可靠的定位与建图是大多数移动机器人以及无人车系统的关键组成部分。激光雷达传感器凭借其高精度以及对光照变化十分鲁棒等优点，目前被广泛应用于SLAM问题中。近年来，随着深度学习的发展，语义信息在机器人定位与建图中的起到了越来越重要的作用。语义信息包含对环境更高层级的理解，可以为SLAM提供更可靠的数据关联，帮助SLAM在现实复杂地动态环境中更加鲁棒地进行运动估计，从而实现更高精度地定位与建图。同时，语义信息还可以帮助SLAM进行更可靠的地点识别以及闭环检测。3.深度学习与视觉SLAM讲师：杨楠慕尼黑工业大学博士生，师从Daniel Cremers教授，主要研究方向为视觉SLAM及其与深度学习的融合。
在视觉SLAM领域，近年来以深度学习技术为代表的层次化图像特征提取方法，并成功应用于SLAM帧间估计和闭环检测。深度学习算法是当前计算机视觉领域主流的识别算法，其依赖多层神经网络学习图像的层次化特征表示，与传统识别方法相比，可以实现更高的识别准确率。同时，深度学习还可以将图像与语义进行关联，与SLAM技术结合生成环境的语义地图，构建环境的语义知识库，供机器人进行认知与任务推理，提高机器人服务能力和人机交互的智能性。4.视觉SLAM开源代码论文带读（ORB_SLAM2）讲师：刘国庆ORB_SLAM2：视觉SLAM领域中特征点法的代表作，也是首个同时适用于单目、双目和RGB-D相机的开源SLAM方案。代码主要分为三个线程：前端实时定位跟踪、后端优化建图与回环检测。整套代码几乎涉及到了视觉SLAM系统的方方面面：从单目系统初始化、特征提取匹配，到LocalBA、GlobalBA的优化设计，到关键帧的选取、地图的复用，以及诸多巧妙设计的工程技巧等等。代码结构较为清晰，称得上是最适合新手学习的第一套VSLAM代码。5.因子图的理论基础与在机器人中的应用讲师：董靖佐治亚理工学院计算机博士，主要研究方向包括机器人学、机器人领域相关的感知问题。近十几年来，作为一种概率图模型，因子图在机器人领域（特别是SLAM问题）中得到广泛的应用。在大规模SLAM问题上，因子图与传统卡尔曼滤波相比，具有速度快、精度高等优点。在本次讲座中，我们将初步了解因子图模型以及因子图在机器人学中的应用。
3
规控
1.量产自动驾驶中的规划控制现状讲师：肖志光小鹏汽车创始团队成员
小鹏汽车自动驾驶产品开发高级总监小鹏XPILOT2.0辅助驾驶系统量产主导者规划控制是自动驾驶核心技术之一，主要解决车在路上如何行驶的问题，需要综合考虑行驶过程中的碰撞安全、交通规则、驾乘舒适性、节能高效等特性。本次公开课重点介绍自动驾驶中规划控制的主要功能，并分享量产自动驾驶研发中的实际难点及解决思路。2.视觉导航：从状态估计到运动规划讲师：张子潮苏黎世大学Robotics and Perception Group博士生，导师为Davide Scaramuzza教授。主要研究方向为视觉SLAM及其在移动机器人导航中的应用。
1).基于视觉的状态估计1.1)视觉SLAM简介1.2) 移动机器人视觉SLAM算法的特点2).考虑感知约束的运动规划2.1) 理论工具:Fisher Information2.2) 基于Fisher Information的运动规划和地图表示3).总结与展望3.视觉状态估计及其在无人系统中的应用讲师：宋宇纵目科技无人驾驶事业部首席科学家，北京交通大学自动化系副教授。
感知、状态估计、规划、控制是机器人自主移动的核心要素，其中，状态估计处于技术体系的核心位置。该报告将首先为大家梳理典型视觉（
下载文档
