ECCV 2016 A Deep Learning-Based Approach to Progressive Vehicle Re-identification

admin管理员组

文章数量:1130349

文章目录

• • 摘要
  • 1.引言
  • 2.相关工作
  • 3.提出的方法（PROVID）
  • • 3.1 概述
    • 3.2 外观特征提取（by CNN）
    • 3.3 基于SNN的车牌识别
    • 3.4 基于时空关系重排序
  • 4.实验
  • • 4.1 数据集
    • 4.2 实验设置
    • 4.3 车牌验证评估
    • 4.4 车辆重识别评估

A Deep Learning-Based Approach to Progressive Vehicle Re-identification for Urban Surveillance

摘要

大部分现有的车辆重识别方法表现不尽人意，因为他们的主要关注点在于车辆的通用外观却忽视了一些车辆个体独有的特征（例如车牌）。
文章提出了一种新的基于深度学习的渐进式车辆重识别的方法：PROVID。
这种方法将重识别任务视为两个特定的渐进式搜索过程：特征层面上由粗糙到精细的搜索，以及真实世界里由近及远的监控搜索。

• 第一个搜索过程采用外观特征进行粗过滤，然后利用Siamese神经网络（孪生神经网络）进行车牌验证，准确识别车辆；
• 第二个搜索过程就像人类的重识别车辆的过程一样，依赖于由近及远的摄像头和时间信息。

收集了迄今为止最大规模的数据集VeRi-776，不仅包含大量的多特征车辆数据，而且具有高重现率，以及足够的车牌号和时空信息标签。VeRi-776上，该方法较目前最好的方法更为优秀，mAP提高了9.28%。

关键词：车辆重识别 渐进式搜索 深度学习 车牌识别 时空关联

1.引言

车辆重识别任务描述：给定检测的车辆图像，在多相机视角捕获的包含该车辆的图像库中进行检索判别。

车辆重识别可以视为实例级的对象检索问题。现实世界的车辆重识别中，这个问题可以通过渐进搜索来完成。

如果监控人员想要在大量监控视频中找到可疑车辆，他们会先通过外观特征（例如颜色，外形和类型）过滤掉大量车辆，以缩小搜索空间。然后，对于剩余的车辆，再利用车牌信息来准确识别，如图1(b)所示。

此外，搜索范围从先是近端摄像头（先检索图像库里的空间信息和待检索图像的空间信息相近的），然后延升至远端，搜索时段同样先是相近的周期（先检索图像库里的时间戳和待检索图像的时间戳相近的），然后延升至更长的周期。时空信息如图2所示。

该方法在真实世界里面临的挑战：

• 基于外观特征的方法难以得到最佳结果：不同视角下相同车辆可能会有很大的类内差异，而同样视角下的不同车辆却可能只有微小的类间差异，如图1(a)所示。
• 车牌识别包括检测、分割、形状调整以及字符识别多个过程，复杂交通环境下有效、高效地获取、利用车牌信息极具挑战（重识别过程无需识别车牌，只要能判别两个车牌是否一致即可）
• 城市监控环境中，很难在不受约束的条件下对车辆行为模式建模。交通状况，路况和天气会影响行车路线。时空线索的利用也具有挑战性。

总之，相比已有的基于外观的方法，PROVID的特点有：

• 采用渐进式搜索
• 深度卷积网络学习的外观属性模型用作粗过滤（采用多尺度特征融合）
• 孪生神经网络用于车牌匹配（只需验证是否属于同一辆车，用大量车牌图像训练）
• 时空关系辅助搜索（用于重新排序）

2.相关工作

• 车辆重识别
• 车牌识别
• 时空关系

3.提出的方法（PROVID）

3.1 概述

PROVID的架构如图3所示。每次检索的输入为一张包含拍摄相机ID和时间戳（时间、地点）的车辆图像。PROVID把检索任务视为渐进式搜索过程：

• 待检索数据集中进行基于外观（颜色、纹理、形状、类型）的粗过滤
• 车牌精细查找：剩余数据集中孪生网络通过计算车牌的相似性找到车牌相似的车辆（多个，猜测是通过阈值过滤）
• 根据由近及远原则，利用时空信息进行车辆置信度重排序
  

3.2 外观特征提取（by CNN）

颜色、形状等显著外观特征很容易过滤掉不相似的样本，而且在大规模数据集里实现也很高效。所以，采用参考文献[9]的纹理、颜色、语义融合模型作为粗过滤器。

• 纹理特征：常用传统描述子表示，比如SIFT（尺度不变特征变换），描述子再由词袋模型编码。
• 颜色特征：CN模型提取（参考文献23）（该模型由词袋模型量化，在行人重识别中表现优异）。
• 高维特征：CNN网络学习（GoogLeNet），该模型在CompCars数据集上微调，以用于检测车辆细节特征，比如车门数量、车灯形状、座位个数以及车辆型号。

最后，上述三种特征通过距离信息融合在一起。how?

3.3 基于SNN的车牌识别

车牌是车辆独一无二的ID。无约束的监视场景中，由于视角，低照明和图像模糊（如图4左），可能无法正确识别牌照。而且，车牌识别流程复杂，包括检测定位、形状调整、字符分割和识别，无法高效应用在重识别任务中。但是，重识别任务中，只需要验证两个车牌是否相同而不用进行识别。 SNN的主要思想是学习一个将输入模式映射到潜在空间的函数，其中相似性度量大的认为是同一对象的一对图像，反之则是不同对象的一对图像。因此，种类数量庞大，或者所有种类的样本训练时不可得的验证场景下，SNN尤其适用。车牌验证正是。。。

用于车牌验证的SNN包含两个并行CNN（如图4右），每个CNN包含两个部分：

• （卷积层+最大池化层）x 2
• 全连接层 x 3

对比损失层连接两个并行CNN的输出。
训练之前：一对车牌imgs为一个训练样本，

• 标注为1：if belong same vehicle
• 标注为0：otherwise

训练时：一对imgs分别输入上下两个CNN前向传播，输出则在对比损失层中组合，用于计算模型LOSS，然后反向传播，共享权值同时更新。

令 W W W为SNN的权重参数，给定输入图像 x 1 , x 2 x1,x2 x1,x2，将其映射到潜在度量空间 S w ( x 1 ) S_w(x1) Sw​

文章目录

• • 摘要
  • 1.引言
  • 2.相关工作
  • 3.提出的方法（PROVID）
  • • 3.1 概述
    • 3.2 外观特征提取（by CNN）
    • 3.3 基于SNN的车牌识别
    • 3.4 基于时空关系重排序
  • 4.实验
  • • 4.1 数据集
    • 4.2 实验设置
    • 4.3 车牌验证评估
    • 4.4 车辆重识别评估

A Deep Learning-Based Approach to Progressive Vehicle Re-identification for Urban Surveillance

摘要

大部分现有的车辆重识别方法表现不尽人意，因为他们的主要关注点在于车辆的通用外观却忽视了一些车辆个体独有的特征（例如车牌）。
文章提出了一种新的基于深度学习的渐进式车辆重识别的方法：PROVID。
这种方法将重识别任务视为两个特定的渐进式搜索过程：特征层面上由粗糙到精细的搜索，以及真实世界里由近及远的监控搜索。

• 第一个搜索过程采用外观特征进行粗过滤，然后利用Siamese神经网络（孪生神经网络）进行车牌验证，准确识别车辆；
• 第二个搜索过程就像人类的重识别车辆的过程一样，依赖于由近及远的摄像头和时间信息。

收集了迄今为止最大规模的数据集VeRi-776，不仅包含大量的多特征车辆数据，而且具有高重现率，以及足够的车牌号和时空信息标签。VeRi-776上，该方法较目前最好的方法更为优秀，mAP提高了9.28%。

关键词：车辆重识别 渐进式搜索 深度学习 车牌识别 时空关联

1.引言

车辆重识别任务描述：给定检测的车辆图像，在多相机视角捕获的包含该车辆的图像库中进行检索判别。

车辆重识别可以视为实例级的对象检索问题。现实世界的车辆重识别中，这个问题可以通过渐进搜索来完成。

如果监控人员想要在大量监控视频中找到可疑车辆，他们会先通过外观特征（例如颜色，外形和类型）过滤掉大量车辆，以缩小搜索空间。然后，对于剩余的车辆，再利用车牌信息来准确识别，如图1(b)所示。

此外，搜索范围从先是近端摄像头（先检索图像库里的空间信息和待检索图像的空间信息相近的），然后延升至远端，搜索时段同样先是相近的周期（先检索图像库里的时间戳和待检索图像的时间戳相近的），然后延升至更长的周期。时空信息如图2所示。

该方法在真实世界里面临的挑战：

• 基于外观特征的方法难以得到最佳结果：不同视角下相同车辆可能会有很大的类内差异，而同样视角下的不同车辆却可能只有微小的类间差异，如图1(a)所示。
• 车牌识别包括检测、分割、形状调整以及字符识别多个过程，复杂交通环境下有效、高效地获取、利用车牌信息极具挑战（重识别过程无需识别车牌，只要能判别两个车牌是否一致即可）
• 城市监控环境中，很难在不受约束的条件下对车辆行为模式建模。交通状况，路况和天气会影响行车路线。时空线索的利用也具有挑战性。

总之，相比已有的基于外观的方法，PROVID的特点有：

• 采用渐进式搜索
• 深度卷积网络学习的外观属性模型用作粗过滤（采用多尺度特征融合）
• 孪生神经网络用于车牌匹配（只需验证是否属于同一辆车，用大量车牌图像训练）
• 时空关系辅助搜索（用于重新排序）

2.相关工作

• 车辆重识别
• 车牌识别
• 时空关系

3.提出的方法（PROVID）

3.1 概述

PROVID的架构如图3所示。每次检索的输入为一张包含拍摄相机ID和时间戳（时间、地点）的车辆图像。PROVID把检索任务视为渐进式搜索过程：

• 待检索数据集中进行基于外观（颜色、纹理、形状、类型）的粗过滤
• 车牌精细查找：剩余数据集中孪生网络通过计算车牌的相似性找到车牌相似的车辆（多个，猜测是通过阈值过滤）
• 根据由近及远原则，利用时空信息进行车辆置信度重排序
  

3.2 外观特征提取（by CNN）

颜色、形状等显著外观特征很容易过滤掉不相似的样本，而且在大规模数据集里实现也很高效。所以，采用参考文献[9]的纹理、颜色、语义融合模型作为粗过滤器。

• 纹理特征：常用传统描述子表示，比如SIFT（尺度不变特征变换），描述子再由词袋模型编码。
• 颜色特征：CN模型提取（参考文献23）（该模型由词袋模型量化，在行人重识别中表现优异）。
• 高维特征：CNN网络学习（GoogLeNet），该模型在CompCars数据集上微调，以用于检测车辆细节特征，比如车门数量、车灯形状、座位个数以及车辆型号。

最后，上述三种特征通过距离信息融合在一起。how?

3.3 基于SNN的车牌识别

车牌是车辆独一无二的ID。无约束的监视场景中，由于视角，低照明和图像模糊（如图4左），可能无法正确识别牌照。而且，车牌识别流程复杂，包括检测定位、形状调整、字符分割和识别，无法高效应用在重识别任务中。但是，重识别任务中，只需要验证两个车牌是否相同而不用进行识别。 SNN的主要思想是学习一个将输入模式映射到潜在空间的函数，其中相似性度量大的认为是同一对象的一对图像，反之则是不同对象的一对图像。因此，种类数量庞大，或者所有种类的样本训练时不可得的验证场景下，SNN尤其适用。车牌验证正是。。。

用于车牌验证的SNN包含两个并行CNN（如图4右），每个CNN包含两个部分：

• （卷积层+最大池化层）x 2
• 全连接层 x 3

对比损失层连接两个并行CNN的输出。
训练之前：一对车牌imgs为一个训练样本，

• 标注为1：if belong same vehicle
• 标注为0：otherwise

训练时：一对imgs分别输入上下两个CNN前向传播，输出则在对比损失层中组合，用于计算模型LOSS，然后反向传播，共享权值同时更新。

令 W W W为SNN的权重参数，给定输入图像 x 1 , x 2 x1,x2 x1,x2，将其映射到潜在度量空间 S w ( x 1 ) S_w(x1) Sw​

本文标签： deeplearningECCVbasedVehicle