语义分割的方法总结
语义分割的方法总结 第一篇
通过广泛调查，设计了一个清晰简洁的图来比较两种传感器的特性，如图四所示。具体地，雷达传感器是有源传感器，并且测量各种信息，包括距离、速度和方位角。如今，驾驶员辅助系统中配备的雷达可以探测到三零零米的距离和小于一◦ 角分辨率，此外，雷达传感器能够适应黑暗和极端天气条件，使其能够全天工作。相机传感器是一种被动传感器，可提供物体的颜色、纹理和形状。相机传感器的分辨率高达二K，在分类方面的表现比雷达传感器好得多。就系统成本而言，雷达和摄像头都相对具有成本效益，并在车辆中大量应用。综上所述，雷达和相机都有其长处和短处，它们是不可替代的。确保充分获取信息的最有效方法是相互整合，基于各自的特点，优势互补可以提高场景理解性能。此外，当其中一个传感器发生故障时，另一个传感器可以继续工作，从而提高了自动驾驶系统的可靠性。因此，雷达和摄像头传感器的融合对于自动驾驶的感知准确性和鲁棒性至关重要。
Radar数据处理
本节将回顾雷达参数和雷达信号处理，包括距离、多普勒速度和方位角。随后，对RCS测量进行分析，以接近目标的尺寸、形状和材料组成，从而表征其反射properties。为了滤除雷达信号处理阶段的杂波，研究了恒虚警率（CFAR）处理的工作流程，并探索了具有代表性的CFAR处理器。根据信号处理阶段的不同，也将雷达表示分为五种类型，并研究了它们的组成过程和算法，以及它们的优缺点。
语义分割的方法总结 第二篇
对于自动驾驶汽车、机器人等用例，需要对观察到的视频进行实时分割。到目前为止讨论的架构几乎都是为准确性而不是速度而设计的。因此，如果将它们以每帧为基础应用于视频，则结果将以非常低的速度出现。
此外，通常在视频中，连续帧的场景中有很多重叠，可用于提高结果和速度，如果在每帧基础上进行分析，则不会出现这种情况。使用这些提示让我们讨论专为视频设计的架构
时空 FCN 建议使用 FCN 和 LSTM 来进行视频分割。我们已经知道如何使用 FCN 提取特征来分割图像。LSTM 是一种神经网络，可以随时间捕获序列信息。STFCN 结合 FCN 和 LSTM 的强大功能来捕获空间信息和时间信息
从上图可以看出，STFCN由FCN、时空模块和反卷积组成。FCN 生成的特征图被发送到时空模块，该模块也有来自前一帧模块的输入。除了空间信息之外，基于这两个输入的模块还捕获时间信息，并将其发送出去，使用类似于 FCN 中的解卷积方法将其上采样到图像的原始大小
由于 FCN 和 LSTM 作为 STFCN 的一部分一起工作，因此网络是端到端可训练的，并且优于单帧分割方法。有类似的方法，其中 LSTM 被 GRU 取代，但捕获空间和时间信息的概念是相同的
本文提出使用跨相邻帧的光流作为额外输入来改善分割结果
建议的方法可以作为插件连接到任何标准架构中。发挥作用的关键要素是 NetWarp 模块。为了计算分割图，计算当前帧和前一帧之间的光流，即 Ft 并通过 FlowCNN 以获得 Λ(Ft) 。这个过程称为流转换。该值通过一个 warp 模块，该模块也将通过网络计算出的中间层的特征图作为输入。这给出了一个扭曲的特征图，然后与当前层的中间特征图相结合，整个网络被端到端地训练。该架构在 CamVid 和 Cityscapes 视频基准数据集上取得了 SOTA 结果。
本文提出通过利用视频中的语义信息与像素级信息相比变化缓慢的事实来提高神经网络对视频分割任务的执行速度。因此，与开始层相比，最终层中的信息变化速度要慢得多。该论文建议不同的时间
上图代表了中层pool四和深层fc七的变化率对比。在左侧，我们看到由于跨帧有很多变化，两个层都显示了变化，但 pool四 的变化更高。在右侧，我们看到各帧之间没有太大变化。因此，pool四 显示出边际变化，而 fc七 显示几乎为零变化。
该研究利用了这个概念，并建议在帧之间没有太大变化的情况下，不需要再次计算特征/输出，并且可以使用前一帧的缓存值。由于变化率因层而异，因此可以为不同的层组设置不同的时钟。当时钟滴答时计算新的输出，否则使用缓存的结果。时钟滴答的速率可以是静态固定的，也可以是动态学习的
本文通过自适应地选择帧来计算分割图或使用缓存结果而不是使用固定计时器或启发式方法，在上述讨论的基础上进行了改进。
论文提出将网络分为两部分，低层特征和高层特征。与高级特征相比，计算网络中低级特征的成本要低得多。研究建议使用低级网络特征作为分割图变化的指标。在他们的观察中，他们发现低级特征变化和分割图变化之间有很强的相关性。因此，要了解是否需要计算是否需要计算更高的特征，可以找到跨 二 帧的较低特征差异，并在它超过特定阈值时进行比较。整个过程由一个小型神经网络自动化，其任务是获取两帧的较低特征并预测是否应计算较高特征。
来自传感器（如激光雷达）的数据以称为点云的格式存储。点云只不过是一组无序的 三d 数据点（或任何维度）的集合。它是 三d 场景的稀疏表示，CNN 不能直接应用于这种情况。此外，任何设计用于处理点云的架构都应该考虑到它是一个无序的集合，因此可以有很多可能的排列。所以网络应该是置换不变的。点云中定义的点也可以通过它们之间的距离来描述。因此，较近的点通常携带对分割任务有用的有用信息
PointNet 是点云研究史上使用深度学习解决分类和分割任务的重要论文。我们来研究一下Pointnet的架构
n 个点的网络输入是一个 nx 三 矩阵。nx 三 矩阵使用共享的多感知器层（全连接网络）映射到 nx 六四，然后映射到 nx 六四，然后映射到 nx 一二八 和 nx 一零二四。应用最大池化以获得 一零二四 向量，该向量被转换为 k通过大小为 五一二、二五六 和 k 的 MLP 输出。最后 k 类输出的产生类似于任何分类网络。
分类只处理全局特征，但分割也需要局部特征。因此，来自 nx 六四 中间层的局部特征与全局特征连接以获得 anx 一零八八 矩阵，该矩阵通过 五一二 和 二五六 的 mlp 发送到 nx 二五六，然后通过 一二八 和 m 的 MLP 为每个点提供 m 个输出类在点云中。
此外，该网络还涉及作为网络一部分的输入变换和特征变换，其任务是不改变输入的形状，而是为仿射变换（即平移、旋转等）添加不变性。
A-CNN 提出使用环形卷积来捕获空间信息。我们从 CNN 中知道，卷积操作可以捕获局部信息，这对于理解图像至关重要。A-CNN 设计了一种称为环形卷积的新卷积，该卷积应用于点云中的邻域点。
该架构将 nx 三 个点作为输入，并为它们找到法线，用于对点进行排序。使用 FPS 算法获取点的子样本，得到 ni x 三 个点。在这些环形卷积上应用增加到 一二八 个维度。对使用 KNN 算法确定的邻域点执行环形卷积。
执行上述另一组操作，将维度增加到 二五六。然后应用 mlp 将维度更改为 一零二四，并应用池化以获得类似于点云的 一零二四 全局向量。这整个部分被认为是编码器。对于分类，编码器全局输出通过 mlp 传递以获得 c 类输出。对于分割任务，全局和局部特征都被认为与 PointCNN 相似，然后通过 MLP 获得每个点的 m 类输出。
语义分割的方法总结 第三篇
点云数据与普通图像相比具有稀疏性、不规则性、无序性等特点，且对算法效率、内存占用等方面的要求较高，传统的算法难以对三维点云数据进行处理和建模。相比传统方法，基于深度学习对点云数据进行特征提取能够应用于更多的场景，分割效果也更好，基于图卷积神经网络的三维点云分类和分割算法也得到越来越多人的关注和研究。
基于点的网络是目前最常用的研究方法，也有一些点-体素或其他表示方式的联合方法也表现出良好的分割性能，多方法的融合为点云分割领域带来了更多的可能性，目前已有一些工作试图结合不同深度学习方法的优点，但还未取得较好的效果。因此，未来对于不同方法之间的融合是点云数据语义分割仍研究的难点和重点。
参考文献
语义分割的方法总结 第四篇
损失函数用于引导神经网络进行优化。让我们讨论一些用于语义分割任务的流行损失函数。
图像中每个像素的交叉熵分类损失的简单平均可用作整体函数。但这再次受到 FCN 建议使用类权重纠正的类不平衡的影响
与内部像素相比，UNet 试图通过为作为边界一部分的边界附近的像素提供更多的权重来改善这一点，因为这使网络更专注于识别边界而不是提供粗略的输出。
焦点损失旨在通过提供更多的权重年龄使网络专注于困难的例子，并处理在单级目标检测器中观察到的极端类不平衡。同样可以应用于语义分割任务
骰子功能不过是F一分数。这个损失函数直接尝试优化 F一 分数。同样，直接 IOU 分数也可用于运行优化
它是 Dice loss 的一种变体，它为 FN 和 FP 提供了不同的权重年龄
它是一种用于测量真实边界和预测边界之间相似性的技术。它是通过找出从一个边界中的任何点到另一个边界中最近点的最大距离来计算的。直接减少边界损失函数是最近的趋势，并且已被证明可以提供更好的结果，尤其是在医学图像分割等用例中，识别准确的边界起着关键作用。
与基于区域的损失（如 IOU 或 Dice Loss）相比，使用边界损失的优势在于它不受类别不平衡的影响，因为不考虑优化整个区域，只考虑边界。
这里考虑的两个术语是针对两个边界的，即真实情况和输出预测。
语义分割的方法总结 第五篇
我们知道图像只不过是像素的集合。图像分割是对图像中属于某个类别的每个像素进行分类的过程，因此可以将其视为每个像素的分类问题。有两种类型的分割技术
语义分割是对属于特定标签的每个像素进行分类的过程。它在同一对象的不同实例之间没有区别。例如，如果图像中有 二 只猫，则语义分割为两只猫的所有像素赋予相同的标签
实例分割与语义分割的不同之处在于它为图像中特定对象的每个实例提供唯一标签。如上图所示，所有 三 只狗都被分配了不同的颜色，即不同的标签。通过语义分割，所有这些都将被分配相同的颜色。
语义分割的方法总结 第六篇
雷达和摄像机传感器的集成旨在通过利用两种传感模式的优势来增强感知结果。雷达传感器和相机传感器的组合能够测量丰富的物体颜色、形状、范围和速度等属性。此外，凭借在黑暗和恶劣天气条件下的感知能力，雷达和摄像头的融合可以在自动驾驶中全天工作。大量研究也表明，雷达摄像头融合提高了网络的准确性和稳健性。由于基于图像的探测器很难探测到远处的物体，Chadwick等人在他们的实验中结合了雷达传感器和相机传感器组，结果超过了相机探测器的性能，因为雷达传感器持续为远处的物体提供强有力的运动指示。Major等人还证明，可以利用雷达传感器得出的速度维度来提高检测性能。此外，Nabati和Qi利用雷达特征（例如，深度、旋转、速度）来补充图像特征，与包括OFT、MonoDIS和CenterNet在内的基于SOTA相机的算法相比，整体无场景检测分数（NDS）提高了一二%以上。在嘈杂的环境中，Yadav等人发现雷达数据在检测中表现出鲁棒性，雷达数据的集成可以提高这些具有挑战性的场景中的性能。
语义分割的方法总结 第七篇
雷达-摄像机融合的目标是雷达传感器和摄像机传感器的输出数据，这些数据在不同的融合阶段通过不同的融合技术以不同的方式呈现。对于相机传感器，输出数据通常以二D图像的形式呈现，在雷达相机融合中，主要有两种图像。一种类型是具有丰富颜色信息的RGB图像，例如nuScenes数据集中的图像。另一种是用红外相机（包括远红外（FIR）和近红外（NIR））拍摄的红外图像，如SeeingThroughFog数据集的图像所示。尽管分辨率较低，但这些图像在温差和夜间能见度方面具有特定优势。图像的数据结构相对简单，具有低数据维度和相邻像素之间的高相关性，这种结构的简单性使深度神经网络能够学习图像的基本表示，从而使其能够检测图像中的目标。雷达数据可以根据处理水平分类为不同的表示，ADC信号是雷达的基本数字信号，不能用目标的位置信息来标记。MDS是一种时频表示，由 连续雷达帧，并且不对应于单个图像帧。因此，ADC信号和MDS通常用于识别对象的存在并区分不同目标。具有描述物体形状的能力，雷达张量和点云通常用于目标检测和语义分割任务！
语义分割的方法总结 第八篇
作为本节的一部分，让我们讨论公众可用的各种流行和多样化的数据集，人们可以使用它们开始训练。
该数据集是 Pascal VOC 二零一零 数据集的扩展，超越了原始数据集，为整个场景提供了注释，拥有 四零零 多类真实世界数据。
COCO stuff 数据集包含原始 COCO 数据集的 一六四k 图像，带有像素级注释，是一个常见的基准数据集。它涵盖 一七二 个类：八零 个事物类、九一 个事物类和 一 个“未标记”类
该数据集由道路、车道、车辆和道路上物体的分割地面实况组成。该数据集包含在不同环境和天气条件下收集的 三零 个类别和 五零 个城市。还有一个包含精细注释图像的视频数据集，可用于视频分割。KITTI和CamVid是类似的数据集，可用于训练自动驾驶汽车。
该数据集是作为从肝脏 CT 扫描中识别肿瘤病变的挑战的一部分而创建的。该数据集包含 一三零 个训练数据的 CT 扫描和 七零 个测试数据的 CT 扫描。
Cloth Co-Parsing 是一个数据集，它是作为研究论文 Clothing Co-Parsing by Joint Image Segmentation and Labeling 的一部分创建的。该数据集包含 一零零零 多张带有像素级注释的图像，总共有 五九 个标签。
基于谷歌图像为皮肤分割任务创建的数据集，包含 三二 张人脸照片和 四六 张家庭照片
从公共领域图像创建的航空分割地图数据集。覆盖面积八一零平方公里，分建筑和非建筑二级。
该数据集包含 三 座建筑物中 六 个大型室内部分的点云，超过 七零零零零 张图像。
我们已经讨论了不同算法的分类法，这些算法可用于解决语义分割的用例，无论是图像、视频还是点云，以及它们的贡献和局限性。我们还研究了评估结果的方法和开始使用的数据集。这应该对作为一般主题的语义分割提供全面的理解。
语义分割的方法总结 第九篇
在深度学习出现之前，经典的机器学习技术如 SVM、随机森林、K-means 聚类被用来解决图像分割问题。但是与大多数与图像相关的问题陈述一样，深度学习比现有技术更全面地工作，并且现在在处理语义分割时已成为一种规范。让我们回顾一下用于解决问题的技术
CNN 的一般架构由几个卷积层和池化层组成，最后是几个完全连接的层。二零一四年发表的Fully Convolutional Network论文认为，最终的全连接层可以认为是做了一个覆盖整个区域的一x一卷积。
因此，最终的密集层可以用卷积层代替，达到相同的结果。但现在这样做的好处是输入的大小不再需要固定。当涉及密集层时，输入的大小受到限制，因此当必须提供不同大小的输入时，必须调整其大小。但是通过用卷积替换密集层，这种约束不存在。
此外，**当提供更大尺寸的图像作为输入时，产生的输出将是一个特征图，而不仅仅是像普通输入尺寸的图像那样的类输出。**此外，最终特征图的观察行为表示所需类的热图，即对象的位置在特征图中突出显示。由于特征图的输出是所需对象的热图，因此它是我们分割用例的有效信息。
由于在输出层获得的特征图由于执行了一组卷积而被下采样，因此我们希望使用插值技术对其进行上采样。双线性上采样是有效的，但该论文建议使用带有反卷积的学习上采样，它甚至可以学习非线性上采样。
**网络的下采样部分称为编码器，上采样部分称为解码器。**这是我们将在许多架构中看到的模式，即使用编码器减小尺寸，然后使用解码器上采样。在理想的世界中，我们不希望使用池化来减少样本并始终保持相同的大小，但这会导致大量参数并且在计算上不可行。
尽管获得的输出结果不错，但观察到的输出粗糙且不平滑。**其原因是由于使用卷积层进行了 三二 倍的下采样，最终特征层的信息丢失。**现在，网络使用这些少量信息进行 三二 倍上采样变得非常困难。这种架构称为 FCN-三二
为了解决这个问题，论文提出了另外两种架构 FCN-一六、FCN-八。在 FCN-一六 中，来自前一个池化层的信息与最终特征图一起使用，因此现在网络的任务是学习 一六 倍上采样，这与 FCN-三二 相比更好。FCN-八 试图通过包含更多先前池化层的信息来使其变得更好。
U-net 建立在完全卷积网络之上。它是为医疗目的而建造的，目的是在肺部或大脑中发现肿瘤。它还包括将输入图像下采样到特征图的编码器和使用学习到的反卷积层将特征图上采样到输入图像大小的解码器。
**U-Net 架构的主要贡献是跳跃连接。**我们在上面的 FCN 中看到，由于我们将图像下采样作为编码器的一部分，我们丢失了很多在编码器部分无法轻易恢复的信息。FCN 试图通过在最终特征层之前从池化层中获取信息来解决这个问题。
U-Net 提出了一种新方法来解决这个信息丢失问题。它建议将信息从编码器中相应的下采样层发送到解码器中的每个上采样层，如上图所示，从而捕获更精细的信息，同时保持低计算量。由于编码器开头的层将具有更多信息，因此它们将通过提供与输入图像相对应的精细细节来支持解码器的上采样操作，从而大大改善结果。该论文还建议使用我们将在下面讨论的新型损失函数。
语义分割的方法总结 第一零篇
随着深度学习的发展，计算机视觉的各个领域已经越来越离不开深度学习。利用深度学习处理二D图像数据的技术已经十分成熟并且取得了很好的效果。近年来越来越多的研究者将目光投向利用深度神经网络处理点云。
二维的数字图像是由像素组成矩阵构成的，很容易的在计算机中进行表示。但三维的点云数据由空间中无序的点构成，很难在计算机中直接处理。因此需要将点云转化适合卷积神经网络(Convolutional Neural Network,CNN)处理的规则结构。
主要有以下方式:基于投影、基于体素和基于点的分割。
早期的深度学习方法尝试将三D点云投影到二D平面上，然后基于CNN的网络模型来对数据进行处理。这个方法解决了三维点云数据难以处理的问题，利用CNN提取平面投影的特征，将多视图的平面投影特征聚合在一起，通过全连接层和池化层得到语义分割的结果。
图 基于多视图表示的代表性网络结构
Representative network structure based on multi-view approach
由于三维点云被投影到二维图像上会受到不同视点选择和投影角度的影响，导致图像丢失部分可用的空间集合信息，一定程度上会造成分割精度的下降，而这个缺点是该算法难以避免的。
激光雷达扫描后的点云的几何形状类似一个空心圆柱体，从垂直与圆柱体主轴的方向来看空心圆柱时，可以将其理解为一个环绕的平面图像，这样就可用球状投影图像来表示三维点云。
此方法突出特点是速度快，相较于多视图投影，球面投影方式保留了更多的点云信息，但对于多视图存在的遮挡物问题，球面投影方式仍无法解决。
体素（occupancy voxels）是一种结构化的表示方法，即将原始的点云数据分成具有一定空间大小的体素。
图 基于多视图表示的代表性网络结构
Representative network structure based on voxel approach
总体来看，体素化表示点云能较好保留原始点云的邻域结构，体素化表示的结构也具有良好的可扩展性，具有较好的分割效果。但体素化本身会带来离散伪影和信息丢失等问题，虽然点云体素化将点云转变为了规则数据，但选择高分辨率的同事也带来了计算效率低与占用内存大的问题，导致难以选择适合的网格分辨率来满足各方面的均衡。
由于基于投影和基于体素的方法都存在空间信息丢失和结构分辨率下降等局限性，因此需要一种更加有效的方法来处理点云。基于点的分割方法，不仅能够更充分利用点云的几何结构信息，还提升了计算效率。
目前基于点的分割方法大致分为逐点MLP方法、点卷积方法、基于RNN的方法和基于图的方法。
图三 基于点云方法的代表性网络结构
Representative network structure based on point
PointNet：直接在点云数据上进行处理，使用共享多层感知机（MLP）提取输入点云数据中每个点的特征，经由最大池化得到全局特征。其核心在于T-Net网络，先利用第一个T-Net对点云构造转换矩阵进行空间对齐，解决点云转换不变性的问题，再用一个T-Net对点云构造转换矩阵进行特征空间对齐。
PointNet通过点云的全局特征完成了点云的分类与分割，但也忽略了局部特征，后续为了解决这一问题，PointNet++被提出，通过将点分层，在每层内分组来学习特征，这允许网络从更大的局部区域内来逐步学习点特征。另外，为了解决点云中密度不均匀的问题，设计了一种多分辨率组合算法，由两部分向量组成，一部分是对这部分所有点进行特征提取所得到的向量，即为局部的全局特征向量；另一部分是对子集进行特征提取，即为局部的局部特征向量。该算法较好地提升了多尺度组合算法的计算速度。后续的改进也大多集中在如何学习到更为丰富的每个点关联的上下文信息和局部结构，主要发展为以下几个方法，包括相邻特征池，基于注意力的聚合以及局部全局特征串联的方法。
虽然PointNet没有关注局部特征信息，难以适用于复杂或点云密度不均匀的场景，但由于其开创性的思想，为后来的点云语义分割研究提供了很好的借鉴意义。
卷积操作的优点是能够很好的提取规则数据的空间信息，但点云数据本身所固有的不规则性使普通的卷积操作无法直接应用于原始点云数据。
PointCNN：设计了一种Xtransformation先对点云数据进行规则化处理，重新加权和排列各点的相关联特征，保留点云的空间位置信息，然后对处理过的点云进行传统的卷积操作。PointCNN能够利用数据中以网格形式密集表示的空间局部相关性，因此在点云分割和分类上取得了比较好的表现，但在这些点关联的特征上直接求核的卷积会导致部分形状信息的丢失，还存在因点云顺序不同导致计算结果存在差异的问题。
除此之外，也有直接对传统的卷积操作进行改进的方法，Thomas等人[一五]提出的核点卷积网络KPConv，将点云空间中的三维点作为卷积中心，坐标点之间的相对位置信息使用欧氏距离，通过多个卷积中心和根据距离赋予每个点不同的权重值来保存实际三维空间的位置信息。通过两种不同的卷积中心，一种刚性的Rigid Kernel处理均匀分布的简单任务，一种可变的Deformable Kernel处理位置变化的复杂任务。
循环神经网络（RNN）用于点云语义分割主要是为了获取点云本身固有的上下文特征，空间上下文信息对于分割性能的提高很重要。
Ye等人[一七]提出一种用于非结构化点云语义分割的新型端到端方法，构建了一个高效的金字塔池化模型来提取三D点云的局部信息，再通过一个双向的RNN提取空间的点云全局依赖性。两个RNN通过不同的方向扫描三D空间提取信息，通过使用两个方向上的层级顺序RNN来融合不同尺度的局部信息以获得更大范围的上下文信息，最终达到良好的三D语义分割的效果。但过多的融合局部特征会丢失原始点云的丰富的几何特征。
基于图的分割方法，是通过建立点之间的关系，将点云数据转变为图数据，再对这个图数据进行卷积计算，即选用合适的图卷积神经网络对其进行表征学习。
基于图的方法的思想是将点云中每个点视为图的顶点，与其领域点构成图的有向边，以此来捕获点云的底层形状和几何结构。
该方法的优点是图卷积能够聚合物体的点集特征，并且保持其三维空间的平移不变性，但怎么合适地建立点与点之间的关系还是一个待解决地难题。
语义分割的方法总结 第一一篇
相机传感器通常由镜头、图像传感器、图像信号处理器（ISP）和输入/输出（I/O）接口组成。如图三所示，透镜收集从目标反射的光并会聚将其发送到图像传感器。然后图像传感器通过片上ADC将光波转换为电信号并将电信号转换为数字值。之后，ISP执行后处理（例如，降噪），并将数字值转换为图像或视频的RGB数据格式，最后通过I/O接口传输和显示图像数据。除了RGB摄像头外，红外照明还配备到了摄像头，即使在晚上也很有意义。此外，门控相机在恶劣天气下表现出强大的感知能力，但缺乏颜色信息。门控成像器还依赖于泛光闪光激光源和时间同步相机，相机捕捉到物体丰富的外观特征，包括颜色、形状和纹理。从神经网络学习后，这些特征可以用来识别障碍物，包括车辆、行人、自行车和各种红绿灯。然而，相机是被动传感器，这表明图像的形成需要入射光。当光线摄入受到不利影响时，如夜间光线不足、极端天气、水滴或灰尘粘附在镜头上，成像结果将不清楚，目标检测性能可能会受到显著影响。此外，在自动驾驶中，识别前方障碍物的距离至关重要。然而，世界坐标系中三维的目标在被相机传感器成像之后变成图像坐标系中的二D目标，导致距离信息的丢失。