基于先验知识的车牌垂直倾斜校正方法



  车牌识别系统是智能交通系统的重要组成部分,可广泛应用于高速公路自助系统、城市交通控制以及停车场或校园关卡等领域,它的工作流程包括图片采集、车牌定位、字符分割和字符识别四部分。由于用于采集图片的摄像头与车辆的位置角度存在偏差,所以抓拍的车牌图片有很大的可能存在倾斜。

  车牌倾斜可以分为水平倾斜、垂直倾斜和混合倾斜三种。国内外研究人员针对水平倾斜校正提出的常用方法主要包括Hough变换法[1-3]、旋转投影法[4-5]和K-L展开式法[6]等 ,且基本都可以得到不错的结果。而针对垂直倾斜校正的研究方法较少,目前主要有:①直线拟合法[7-9]。该方法是对车牌左边界部分点进行直线拟合,认定此直线倾角即为车牌倾斜角度,此方法在存在车牌左边框且车牌外没有干扰区域时效果较好,但如果车牌左边框由于被污染等原因导致预处理后左边框区域缺损或不存在时,考虑到车牌最左边字符为汉字,且汉字的左边界点大部分都不能拟合成理想的直线,如“京”、“云”、“广”等,此时误差很大,不能达到预期校正效果;②旋转投影法[5]。该方法需要车牌图像以1°为步长对每个角度都进行错切变换,然后统计垂直投影为0的点,当统计点数最多时即为此车牌的垂直倾斜角,此方法需要穷举每个角度,这将导致效率低下且精确度不高,易受到字符以外部分的干扰。因此寻求一种更为准确、快速的方法极为重要。

  本文在深入研究和分析这些算法的基础上,提出一种基于先验知识的垂直校正方法。该方法首先在水平倾斜校正的基础上去除车牌的上下边框及铆钉,然后通过垂直投影法进行粗定位并得到包含每个字符的分割区域,并求得所分割区域中最大连通域部分即字符点区域的宽最短外接矩形,统计水平穿过此外接矩形中心的直线在矩形区域内的点数,从而推导出当前字符仿射变换后的高宽比,并根据车牌字符原始高宽比推导出车牌倾斜角度。

  1 车牌字符的先验知识及宽最短外接矩形

  1.1 关于车牌字符的先验知识

  根据GB36-2007的规定,小型汽车车牌、大型汽车前号牌、领馆汽车号牌、港澳出入境车号牌、教练汽车号牌标准如图1所示。

  1.2 连通域的宽最短外接矩形

  定义:对于一个连通域,在它的所有外接矩形中,存在一个外接矩形,它的宽比其它所有外接矩形的宽都要短,则称它为此连通域的宽最短外接矩形。

  宽最短外接矩形求取步骤如下:①根据连通域求得外接多边形;②得到外接多边形的凸包;③根据凸包求得宽最短外接矩形。

  以字符“6”为例,首先根据图2得到其轮廓图3,进而得到其外接多边形。

  由多边形可以得到多边形的凸包,即可将求连通域宽最短外接矩形转换为求此凸包的宽最短外接矩形。

  求多边形凸包的过程如下:以图5为例,首先找出多边形ABCDEF中的凹进点C,并将C点删除,然后将通过线段与C点相连的另外两个端点B和D相连,得到凸包ABDEF,如此反复迭代,直到不存在凹进点为止。

  通过分析凸包的特征,可以推断宽最短外接矩形一定经过此凸包的一条边和某个顶点,只需求出某个点及此点到满足某一条件的边的距离,比较得到所有距离中的最小值即可。经观察,并不是所有边都能与当前顶点构成外接矩形,以图5的D点为例,只有边AB可以与D点构成外接矩形ABXY,其它边与D点构成的矩形都会穿过凸包,不能构成外接矩形。

  对凸包的每个点寻找可构成矩形的边,并记录点到这条边的距离,所有距离中最小的即为宽最短外接矩形的宽,与此对应的外接矩形即为宽最短外接矩形。

  2 基于先验知识的垂直校正算法

  2.1 垂直校正原理

  根据先验知识可知每个字符的高宽比H∶W= 2。假设字符存在倾斜,且倾角为α,如图7所示,原车牌字符所占矩形区域为ABCO,有垂直倾斜的车牌图片中某字符所占区域为A′B′CO。在垂直校正过程中, 如图8所示,车牌字符区域是ABCD,错切变换为A′B′CD。

  首先,我们由水平倾斜校正,在去除上下边框及铆钉之后,可以得到字符区域的高度HSRC,对应于图6中AY的长度LAY,对倾斜字符寻找宽最短外接矩形如图7所示,长度一定小于LBF,宽度一定等于LBE,我们过此外接矩形的中心点做水平直线,与外接矩形交于M、N点,显然长度关系为:

  2.2 垂直校正算法流程

  理论上对每个字符来说都有上述性质,但考虑到边界可能存在边框或者边框外的干扰区域并不满足上述特性,所以在粗定位之后应去除左右区域,以防对最终计算结果造成干扰。在中间几个区域中选择5~7个字符区域,对每个字符区域内的最大连通域进行标记,并在原始二值图中依次寻找出每个连通域,分别求得其宽最短外接矩形,然后按照上述方法即可确定每个字符的旋转角度θi,为避免可能出现的意外倾斜导致校正结果出现误差,需要对θi进行滤除。假设得到M个字符的旋转角θi,i=1,2,…M,旋转角均值为θa,标准差为θs,则

  利用本实验方法测得图9和图13的倾斜角度分别为-11.83°,9.68°(顺时针为正),校正结果图为错切变换后的结果图。