TSR交通标志检测与识别

TSR检测和识别交通标志

说明：

传统的图像处理算法TSR集成在在ARM DSP上操作，深入学习开发TSR集成到FPGA上运行。

输入输出接口

Input：

(1)图像视频分辨率(整形)int）

(2)图像视频格式（RGB，YUV，MP4等）

(3)摄像头标定参数(中心位置)（x,y）和5个畸变

系数(2径向，2切向，1棱向)float）

(4)摄像头初始化参数(摄像头初始位置和三个坐标方向)

旋转角度、车辆宽度、高速等，浮点型float）

Output：

（1）BandingBox左上右下坐标位置(浮点型)float）

（2）Type类型：人、车、…，… （整型int）

(3)执行:指确定某一类型目标的比率。

比如人，车，…，…(浮点型float）

(4)目标区域左上右下左上右下的坐标位置(浮点型)float）

(5)摄像头与目标对象的距离 （浮点型float）

1. 功能定义

根据需要对道路上的交通标志进行分类。

功能模块包括TSR坐标位置，IOU比例，摄像头和TSR距离等。

(1)辅助驾驶。交通标志识别的概念较早作为辅助驾驶工具提出。TSR识别交通标志后，客队司机通过语音和视频提醒，甚至在必要时直接控制车辆驾驶系统，以确保驾驶安全。

（2）交通标志的维护。由于交通标志通常放置在室外环境中，由于自然环境（如风雨）和人为因素（如涂层）的影响，不可避免地会褪色、变形甚至退化和失踪，需要定期检查和维护。通常，这项工作需要专门安排，工作量大，难以保证实时性和准确性。显然，一个有效的TSR系统是完成这项工作的理想方案。

（3）无人驾驶。无人驾驶汽车今年受到了越来越多的关注。自20世纪90年代以来，国内外开发了一系列无人驾驶汽车，其智能逐渐提高，可以自动规划路线，避免障碍物。使无人驾驶汽车具有识别交通标志的能力显然是实用的重要一步。

2. 技术路线方案

一般来说，交通标志颜色的基本含义如下：

a. 红色：表示禁止、停止、危险，用于禁令标志的边框、底色、斜杠，也用于叉形符号和斜杠符号、警告性线性诱导标的底色等。

b. 黄色或荧光黄色：用于警告标志背景色的警告。

c. 蓝色：指示指令和遵循指示标志的背景颜色；指示地名、路线、方向等驾驶信息，用于一般道路指示标志的背景颜色。

d. 绿色：用于高速公路和城市高速公路标志的背景色，表示地名、路线、方向等驾驶信息。

e. 棕色:指示旅游区和景点项目，用于旅游区标志的背景色。

f. 黑色：用于标志的文本、图形符号和部分标志的边框。

g. 白色：背景色、文字、图形符号和部分标志的边框。

h. 橙色或荧光橙色：用于道路作业区的警告和指路标志。

i. 荧光黄绿色：用于注意行人和儿童的警告标志。

一般使用规则如下：

a. 等边三角形：用于警告标志；

b. 圆:用于禁令和指示标志；

c. 倒等边三角形：用于减速让行禁令标志；

d. 八角形：停车让行禁止标志；

e. 叉形：用于铁路平交叉符号警告标志：

f. 方形：用于指路标志、部分警告、禁令和指示标志、旅游区标志、辅助标志、指示灯。

a） 内部照明标志

标志板配备照明装置，采用半透明材料制作标志板，单面显示和两面显示。内部照明标志可根据标志板的大小和风力进行结构设计。确保标志表面照明均匀，夜间150m 视觉距离。灯箱结构合理，金属构件防腐，防雨防尘，电气元件耐用可靠，维护方便。

b） 外部照明标志

外部光源照亮标志表面的方式。

外部照明标志的光源应专门设计。照明灯及其阴影不能影响标志的识别。标志表面外部光源的照明不得明显不均匀，均匀性（较大照明/较小照明）必须为4 确保夜间有150m 视觉距离。外部照明光源不会使路上司机头晕。

支撑灯构件应防锈，照明设备耐用可靠，性能优良，维护方便。

交通标志板可采用铝合金板、挤压成型的铝合金型材、薄钢板、合成树脂类板材等制造，所用材料应符合现行《公路交通标志板》( TI'/T 279 )厚度应根据计算确定。

(1)钢管可用于交通标志柱、横梁等。H型钢、槽钢、钢筋混凝土等材料，钢管顶部应设置柱帽。钢构件应进行防腐处理。

（2）交通标志应设置钢筋混凝土基础，桥段单柱交通标志可附着在桥上。

结构设计

1)设计基本风速应采用当地平坦空旷的地面，离地面lOm高，重现期为50年lOmin平均较大风速值不小于22m/s。

2)交通标志结构应按承载能力极限状态和正常使用极限状态设计，同时满足结构和工艺要求。

交通标志的结构重要性系数可分为两个等级：

(1)悬臂式、门架式交通标志位于高速公路和一级公路7，结构重要性系数

(2)其他类型的交通标志位于高速公路和一级公路以及其他等级公路上的交通标志，以及结构重要性系数Y=0.9。

4)交通标志结构的荷载计算与组合、极限状态设计方法和基础设计应符合现行《公路桥涵设计通用规范》( JTC D60 )、《公路桥涵基础与基础设计规范》(JTJ 024)《钢结构设计规范》(JB 50017年和道路交通标志和标线( JB 等等。

(1)公路交通标志板均应符合现行《公路交通标志反光膜》(GB/T 18833)要求的反光膜或其他逆反射材料制作。

(2)交通标志板采用反光膜材料时，高速公路、一级公路应采用一、二级反光膜，二、三级公路交通标志应采用三、四级反光膜，四级公路应采用四、五级反光膜。

(3)门架、悬臂等悬挂式交通标志应采用比路边交通标志等级高的反光膜。

(4)照明或发光二极管在保证均匀性和条件允许时，可以增加重要标志的视觉识别效果。

a） 反光材料的种类及性能

根据不同的结构，用于标志表面的反光材料可分为透镜埋入型、密封胶囊型、微棱镜型等。其反射原理是：射向标志表面的光应沿射光的反向方向返回光源。由于标志位置和车辆行驶条件的不同，用于标志表面的反射材料应具有优异的广角和反射性能。在不同入射角(汽车前照灯与标志表面法线之间的夹角)、不同观测角(汽车前照灯与标志反射回驾驶员眼睛的夹角)的情况下，标志表面反射膜的反射系数值应符合JT/T279 的规定。

b） 反光材料的应用和选择

1） 原则上，各级道路的交通标志应采用反光材料制作。

2） 高速公路、一级公路、城市主干道的交通标志应采用一级~三级反光膜；二、三级公路和一般城市道路的交通标志应采用四级以上的反光膜。四、五级反光膜可用于四级公路等交通量较小的道路。

3） 高速公路、一级公路、城市高速公路曲线段标志、城市多路交叉口应采用三级以上反光材料。

4） 高速公路和城市高速公路上的门框标志和悬臂标志，为了获得与路边标志相同的反射效果，应选择高于路边标志的反射膜等级的反射材料，或将门框标志和悬臂标志上的字符改为反射器，以提高夜间视觉识别。照明标志也可用于有条件的重要路段。

c） 交通标志的颜色规定及相关色样。

1)交通标志应反映公路及周边路网的特点，使驾驶员能够准确确定位置，找到正确的目的地，合理分配路网中的交通量；

2)交通标志应增强驾驶员安全驾驶意识；

3)交通标志应易于识别和理解；

4)应设置系统、连续、均衡的交通标志，避免信息过载；

5)动态交通标志的设置不得妨碍静态交通标志的使用。

6)收集道路、交通、气象、环境及周边路网等基础资料；

7)确定公路交通标志的实施标准和规模；

8)比较安全、环保、技术、经济、美观等方面的方案，选择较佳方案。

1)不熟悉公路交通标志的设置

图1. 设置交通标志

周边路网系统的公路用户是设计对象，根据各种交通标志的功能和驾驶员的行为特点，制定合理的设置标准，综合考虑周边路网和公路条件、交通条件、气象和环境条件。

2)二级以上公路和其他国家、省级公路应优先设置指导标志，其他公路或未设置相关指导标志的公路，经论证可设置必要的警告标志。禁止标志应设置在交通法律法规发生作用的地方附近，避免与其他交通标志相互影响。限速标志应根据不同路段的通行能力、车型构成比例、车辆运行速度等分段设置。

3）在选择路网中标记的目的地信息时，应根据路网密度、公路等级、公路功能和目的地知名度进行统一考虑。不同类型的交通标志信息应相互呼应，不得中断。

4)沿公路纵横设置交通标志的位置应符合现行道路交通标志和标线( GB5768)的规定。位于高速公路一级公路侧安全净区的交通标志，应当按照标志结构规范采用解体消能结构或者设置护栏进行保护，必要诱导其他公路路侧安全净区的交通标志。

5）公路交通标志的任何部分不得侵入公路建筑的界限。路边柱式交通标志的安装高度应考虑其板面规格、位置的线性特征和地形特征，以及是否有行人通行。悬臂、门架等悬挂标志的净空高度应预留20-50cm的余量。

6)安装交通标志时，标志板表面的法线应与公路中心线平行或成一定角度。路边安装的禁止标志和指示标志为0°-45°，指路标志和警告标志为0°-10°。安装悬臂、门架或附着式悬挂标志时，标志的安装角度应垂直于道路中心线或向前倾斜0°-10°。

(1)正确处理颜色、文字、箭头、编号、图形和边框之间的关系，使标志布局清晰美观；

(2)同类交通标志应采用同类标志布局；

(3)门架式交通标志的交通标志板应统一高度和框架规格。

交通标志的支撑方式可分为柱式、悬臂式、门架式和附着式。

根据交通量、车型构成、车道数、沿线结构分布，支撑交通标志。

图2. 实际交通标志示例

支撑方式

综合确定风荷载大小和路边条件。

（1）警告、禁令、指示标志和小型指路标志应采用单柱支撑，中大型指路标志可采用双柱或多柱支撑。

(2)符合下列条件时，可采用悬臂式或门架式等悬空支撑方式(布局内容少时，应采用悬臂式):

①当交通量达到或接近设计交通能力时；

②当交互式立交设计非常复杂时；

③当单向有三条或三条以上车道时；

④当立体交叉间距较近时；

⑤多车道出口；

⑥大型车辆所占比例很大时;

⑦穿越多个互通式立体交叉、为保持标志信息设置位置的一致性时;

⑧当路边安装空间不足或堵塞时；

⑨连接两条高速公路之间的枢纽；

⑩出口匝道为左出口；

⑧平面交叉口标志或车道起点的平面交叉口标志或出口预告标志。

（3）公路沿线设有跨天桥等结构，路边设有高挡土墙、照明杆等。在满足公路建筑边界要求的前提下，交通标志可采用附着式支撑。

交通标志使用的颜色、形状和图形符号应符合现行道路交通标志和标志(GB5768)的规定。

指路标志上使用的箭头应在一定角度反映车辆的正确驾驶方向。

（1）当用于指示车道或驾驶目的地时，箭头应向下指向车道的中心线；用于指示出口方向时，箭头应向上倾斜，倾斜角度应反映出口车道的线形。

（2）路边安装的指路标志表示，直方向的箭头应指向上方，转向方向的箭头应与转向车道的线形一致。同时，当向上、左、右三个箭头出现时，指向右的箭头应放在较右边，指向上、左的箭头应放在较左边。

(3)箭头可以放置在主标志文本的下方或文本一侧的适当部分。

公路的指路标志应为汉字，并可根据需要与其他文字一起使用。当标志使用中英文时，地名使用汉语拼音，特殊名词使用英语。由于布局规格的限制，一些英语可以缩写。

警告、禁止、指示标志板尺寸和指示标志文本高度，由公路设计速度决定，指示标志板尺寸，还应考虑字符数量、图形符号、其他文本和布局美化因素，其他文本与汉字高度的关系，位置应放置在较左边，地名从近到远，从上到下。如果几个独立的标志组成一个组，则各板的长度应相同。地点、方向标志中，直行标志应设置在较上部，其下为向左、向右可以到达的地点。

当路段运行速度与设计速度之差大于20}n/h时，宜按运行速度对交通标志的版面规格及视认性加以检验。

交通标志的设置应考虑人的行为特征。人的行为在交通工程和道路安全中的作用主要表现在视觉信息、信息需求、信息处理等三个方面。

视觉信息

据估计，驾驶员在驾驶车辆行驶时所需要的信息中，占90%的为视觉信息。人的视觉特征如视野的深度、宽度，眼睛的移动、色彩的识别、亮度和眩光的影响、速度的判断等，是交通标志设置的基本考虑要素。

信息需求

对公路使用者来说，几乎所有的信息都是通过视觉的传递接收的，因此设置交通标志时，应注意其显著性、易理解性、可信性和定位性。

信息处理

驾驶员的驾驶任务包括获取信息、处理信息、选择行动方案、实施行动方案，并通过重复这一

过程来观察决策的结果。

由于人的行为的局限性和驾驶员、车辆和公路环境之间的关系使得上述过程非常复杂。设置交通标志时，还应考虑驾驶员的预期值、反应时间和短期记忆等特征。只有充分考虑公路使用者的行为特征，交通标志的设置才具有有效性。

本条所指的“不熟悉周围路网体系的公路使用者”并不是说公路使用者对周围环坛无所知，而是指通过地图或其他查询手段，对前往的目的地和途经路线有所了解，然后肋交通标志的指引能够顺利抵达目的地。

相关制作

图案

交通标志必须严格按本标准规定的图案按比例放大制作，不得任意修改图案。

参数

交通标志形状、尺寸、图案、文字应符合本标准的规定。标志板的制作应符合JT/T 279的有关规定。

检测

厂商生产的交通标志需经持有CMA 标志的国家计量认证单位检测。

（1）有利于调节交通流量、疏导交通，提高道路通行能力

（2）预示道路状况，减少交通事故

（3）节约能源，减少污染物

汽车安全系统的交通标志识别系统，英文翻译为：Traffic Sign Recogni- tion，简称TSR，是利用前置摄像头结合模式，可以识别常见的交通标志（限速、停车、掉头等）。这一功能会提醒驾驶员注意前面的交通标志，以便驾驶员遵守这些标志。TSR 功能降低了驾驶员不遵守停车标志等交通法规的可能，避免了违法左转或者无意的其它交通违法行为，从而提高了安全性。这些系统需要灵活的软件平台来增强探测算法，根据不同地区的交通标志来进行调整。

图3. 告知限速、禁止超车信息，提高驾驶过程中的安全性及安心感

有了TSR交通标识智能识别系统，能瞬间鉴别各种交通标识，并进行显示，提醒限速、禁止超车等行车信息。违章越来越少，安全越来越高。

交通标志识别系统一般包括检测和识别两部分。检测一般是利用交通标志的形状和颜色特征，从自然场景中把交通标志提取出来。识别是把检测出来的交通标志的内容识别出来。交通标志识别在规范交通行为、确保安全驾驶等方面具有重要的意义。交通标志通常处于室外复杂的环境条件下，识别的过程中容易受环境光照、方向旋转的影响。

交通标志识别系统是智能交通系统与先进辅助驾驶系统的重要组成部分，提高交通标志检测与识别算法的准确率和实时性是走向实际应用进程中需要解决的关键问题。算法的准确率是交通标志识别研究中一个十分重要的因素，错误的识别结果不仅不能起到辅助驾驶作用，还会导致严重的安全事故。而算法的实时性决定了研究成果能否转化为具有实际应用价值的产品。在汽车数量日益增加、交通安全事故居高不下，要求不断提升汽车的驾驶智能化的现实压力面前，开展以实时应用为目标的交通标志检测与识别技术研究，对于增加驾驶安全具有重大的意义。

交通标志检测是进行交通标志分类的前提，同时还压缩了计算目标的空间，减少后续特征提取算法的运算量，还可以获得更高的识别准确率。在图像的特征提取领域，常见的特征提取与选择方法有：

PCA主成分分析法

Gabor特征提取算法

SIFT特征提取算法

SURF特征提取算法

Haar小波特征提取算法/类Haar小波特征提取算法

不变矩特征提取算法

直方图特征提取算法

交通标志分类与识别方法主要有：基于各种距离的模板匹配识别方法，基于大量数据样本的机器学习识别方法以及基于粒子群算法、遗传算法等智能算法的识别方法。

交通标志是一种图形与文字相结合的公共标识，用图形符号和文字传递特定信息，用以管理交通，指示行车方向以保证道路畅通与行车安全的设施。有很显著的颜色和形状特征，起到指示，禁止和警示等作用。适用于公路，城市道路以及一切专用公路，具有法令的性质，车辆，行人都必须遵守。

我国的交通标志有警告标志，禁令标志，指示标志，指路标志，指示标志，旅游去标志，作业区标志，告示标志，辅助标志8种。根据交通标志的颜色与形状的确定关系，我们可以对三种不同作用交通标志做进一步的分类，并且把颜色形状分类的结果作为先验知识用于交通标志的检测与识别中去。

1）禁令标志：起到禁止某种行为的作用。共有43种。禁止或限制车辆，行人交通行为的标志。除个别标志外，颜色为白底，红圈，红杠，黑图案，图案亚杠；形状为圆形，八角形，顶角朝下的等边三角形。设置在需要禁止或限制车辆，行人交通行为的路段或交叉口附近。如图27所示的禁令标志，红色在自然环境下比较少见，故以红色作为特征颜色检测禁令标志通常具有较好的效果。

2）警告标志：起警告作用。共有49种。警告车辆，行人注意危险地点的标志。颜色为黄底，黑边，黑图案，形状为顶角朝上的等边三角形。如图28所示的警告标志，由于外沿与图案的颜色均为黑色，某些图案面积较大的标志与外沿几乎相连，给检测带来一定困难。

3）指示标志：起指示作用。共有29种。指示车辆，行人行进的标志。颜色为蓝底，白图案；形状分为圆形，长方形和正方形；设置在需要指示车辆，行人行进的路段或交叉口附近。如图29所示的指示标志没有特定的外沿颜色，某些标志的图案几乎将蓝底分为了几个部分，给检测带来一定困难。

图4. 禁止标志

图5. 警告标志

图6. 指示标志

图7. 交通标志识别（TSR）结果效果演示

3. 关键技术参数和性能指标

交通标志识别实际上包括交通标志的检测和识别两个过程，检测是在图像中寻找到感兴趣目标并定位，识别是对感兴趣目标进行分类。现在R-CNN系列、YOLO、SSD能够很好的将检测和分类两个过程融合到一起，并且在PASCAL VOC等数据集上取得了很好的效果，但对像交通标志这种小目标的检测效果并不好。就交通标志检测而言，如果在Faster RCNN的anchor中，将scale调小一点，ratio调下再做训练，是可以很好的检测到图像中尺寸较小的交通标志；也可以训练级联CNN，将目标检测问题转化为分类问题。传统的检测方法中，可以人工设计特征来检测感兴趣目标，例如可以利用交通标志的颜色和形状等信息来检测并定位到交通标志；然后对检测到的标志进行识别或分类，判断它是哪种交通标志。