基于改進R-FCN的交通標志檢測

　　摘要：針對交通標志檢測過程中需同時滿足高精度和速度的問題，本文提出了一種改進的基于區域全卷積網絡(R-FCN)的交通標志檢測方法。通過K-means聚類算法對數據集進行分析，選擇合適的錨點框。并對特征提取網絡ResNet101進行結構簡化，只使用其前25層進行特征提取，以縮短檢測時間。再將可變形卷積和可變形位置敏感RoI(Regionof Interest)池化層引入模型中，以提高模型對交通標志的感應能力。訓練過程中使用在線困難樣本挖掘策略，減少簡單樣本。在德國交通標志檢測數據集上的實驗結果表明：改進后的模型對交通標志位置信息更加敏感，在AP50時達到97.8%，AP75時為94.7%，檢測時間縮短至48ms，整個模型在精度與速度上都得到了提升。

　　本文源自計算機工程2021-01-27《計算機工程》雜志級別：CSCD，主辦單位：華北計算技術研究所，周期：旬刊，　國內統一刊號：11-2127/TP，國際標準刊號：1002-8331，復合影響因子為0.984，綜合影響因子為0.518。《計算機工程》簡介：《計算機工程》刊登內容包括發展趨勢/熱點技術、博士論文、基金項目論文、專題論文、軟件技術與數據庫、安全技術、多媒體技術及應用、網絡與通信、人工智能及識別技術、工程應用技術與實現、開發研究與設計技術等。

　　關鍵詞：交通標志;區域全卷積網絡; ResNet101;可變形卷積;可變形位置敏感RoI池化

　　0概述

　　交通標志檢測是自動駕駛和輔助駕駛的重要組成部分，交通標志中含有速度限制，路面狀況等信息，對汽車起著指導作用，是安全駕駛的重要一步，對于交通標志的研究有著重要的理論和現實價值。研究人員對此提出了多種方法進行研究，在深度學習模型提出以前，交通標志的檢測方法大體可分為基于交通標志的顏色形狀等視覺信息方法[1-5]，基于特征提取和機器學習的識別方法[6-8]。

　　自從文獻[9]提出AlexNet在ImageNet大賽奪冠，多種深度學習模型被提出應用于交通標志檢測任務中。文獻[10]設計了一種端到端的全卷積神經網絡，在對其收集的Tsinghua-Tencent 100K 數據集檢測中，展現出強大的魯棒性。文獻[11]對Faster RCNN[12]中RPN接收域的修改，使模型更好的適應交通標志這種小目標。文獻[13]通過使用多個11?的卷積核，降低了模型的計算復雜度，使檢測達到實時。文獻[14]提出了一種基于多尺度區域的卷積神經網絡，在RPN中融入上下文信息，能準確地檢測出較小的交通標志。

　　由于模型結構設計的差異，目標檢測模型所側重的方面也不相同，一階檢測器如YOLO[15]，SSD[16]等，檢測速度快，但對交通標志這種小目標并不敏感，精度較低，容易產生誤判。二階檢測器Faster RCNN，FPN[17]等精度高，但速度慢，對于交通場景這種速度較快的情況，無法及時將信息傳遞給汽車。對此，本文基于R-FCN[18]框架，提出了一種改進的交通標志的檢測算法。通過對其特征提取網絡進行簡化，在不影響準確率的情況下提高模型檢測的速度。再添加K-means，在線困難樣本挖掘策略和可變形卷積等技術，以期提高模型的精度。

　　1交通標志檢測算法框架

　　1.1 R-FCN算法

　　R-FCN算法由經典的Faster RCNN算法演變而來，同為二階段檢測器。先通過特征提取網絡提取圖像特征，輸出特征圖，再經過區域建議網絡(region proposal network，RPN)對輸出的特征圖上提取出感興趣區域。R-FCN與Faster RCNN在RPN之前的步驟相同，兩者最大的不同在于對感興趣區域的分類與回歸。

　　Faster RCNN通過一組全連接層完成對目標的分類和回歸，每個經過RPN提取出來的RoI都需要經過全連接層的計算，這將消耗大量的時間。而R-FCN則通過額外添加兩組卷積的得到兩張分別為類別和位置的得分圖來對目標進行預測，即將全連接層替換成卷積層進行分類和回歸計算，一定程度上加快了檢測速度，整個檢測框架如圖1所示：

　　1.2 可變形卷積

　　傳統的卷積操作通常是基于形狀為3x3，5x5這種形狀規則的卷積核進行特征提取，然而這種傳統的卷積具有自身的局限性，只能提取規則區域內的特征，無法根據物體的形狀提取到更細致的特征，而可變形卷積[19]引入了空間幾何形變的學習能力，可以更好地適應空間。

　　可變形卷積可以根據目標的形狀進行卷積位置調整，使卷積的區域更貼切于物體。具體實現是通過增加了一組2N(N為卷積核的大小)個卷積核，產生尺寸與輸入特征圖相同，通道數為2N的特征圖，又稱為offset field(偏置域)。從offset field上可得到每個像素點的offsets(偏置矩陣)，具體方式如圖2所示。

　　傳統卷積的計算方式是與特征圖進行固定區域的卷積計算，對于特征圖上每個點位置0p，其計算方式如式1所示：

　　式中：x為輸入特征圖;y為輸出特征圖;0p為卷積計算點;R表示預采樣偏移，假設使用3x3卷積核，則??????????1, 1 , 1, 0 ,.... 0,1 , 1,1R? ? ? ?;Pn為R中位置的枚舉。

　　可變形卷積加入其中，將學習到的偏置矩陣offsets與預采樣偏移R相加，得到新的采樣偏移量，則輸入特征圖上每個點Po進行可變形卷積的表達式如式2所示：

　　式中：np?為偏置矩陣offsets對應于常規卷積網格的偏移量;其余變量與式(1)相同。

　　1.3 特征提取網絡

　　R-FCN通過殘差網絡(ResNet)對圖片進行特征提取，ResNet[20]自提出以來，被廣泛應用于分類，檢測任務。通過增加跳線連接，ResNet能夠緩解梯度消失和梯度爆炸的問題。

　　ResNet的結構如圖3所示，假設在不加殘差前網絡需要學習的是????H xF x?，這樣一個恒等映射在神經網絡層數增加時將變得很難擬合。而加入殘差結構后神經網絡學習的是????H xF xx??,即將恒等映射作為網絡的一部分，那么網絡真正學習的是殘差函????F xH xx??,這比原來的恒等映射更容易擬合。

　　Fig. 4 Construct the ResNet unit as deformable ResNet structure

　　本文使用了經過預訓練的ResNet-101，在其第conv4_x模塊中融入可變形卷積。具體結構如圖4所示，在殘差結構中加入了額外的72個256維的卷積核，產生了四組offsets。通過這些新加入的卷積產生的offset的偏置量指引作用下, 對輸入特征進行可變形卷積操作獲得輸出特征。

　　1.4可變形位置敏感RoI池化

　　R-FCN中的位置敏感RoI池化在位置敏感得分圖上進行，位置敏感得分圖實質上也是特征圖，但卻是有著確切含義的特征圖。位置敏感RoI池化會將RPN層提取出的感興趣區域分成kk?個bins(子區域)，假設目標的總類別數為C，則位置敏感得分圖的層數為??21kC?,每一層分別代表著某類物體的某個部位在整個圖像中的響應值。位置敏感得分圖的層數受目標種類數影響，當目標種類增加時，得分圖的通道數也隨之增加，會帶了大量參數，增加檢測的時間，因此本文只有3類交通標志的情況適合于R-FCN位置敏感RoI池化的設計。

　　相比與原始的位置敏感RoI池化，可變形的位置敏感RoI池化通過卷積在位置敏感得分圖上產上了一個額外的偏置域。這個偏置域的尺寸與得分圖相同，通道數是其兩倍，對應于位置敏感得分圖上每個點在X與Y方向的偏移量，具體方式如圖5所示。將經過RPN提取出來的RoI區域對應的offsets加入其中，其對應的計算公式如式3所示：

　　式中：x為輸入特征圖;y為輸出的RoI;bin為由RoI劃分為??0,k ki j k? ? ?的區域;ijn是每個bin區域中的像素數;0p為RoI左上角的坐標;p為bin區域內像數點的枚舉;p?為偏移量offset。

　　1.5在線困難樣本挖掘

　　經過特征提取網絡輸出的特征圖會在RPN的作用下產生大量的ROIs(候選區域)，這些ROIs中正樣本和負樣本分布并不平衡，簡單地設置正負比例將這些ROIs送入后續分類與回歸訓練使模型無法關注到困難樣本(預測時與真值標簽誤差較大的樣本，這類樣本常使得模型產生誤判現象)。OHEM(在線困難樣本挖掘)[21]會從這些ROIs中篩選出困難樣本，將篩選得到的這些樣本送入到訓練中。

　　具體操作為設置兩個相同的ROI子網絡，兩個子網絡結構相同，但在功能上可將其分為只讀子網絡和可讀可寫子網絡。只讀子網絡只負責前向計算，輸出ROIs的損失，然后將這些ROIs的損失值從大到小排序，并通過NMS(非最大值抑制) 算法挑選出前K個ROIs，將其送入到可讀可寫子網絡中進行參數的反向傳播，完成網絡更新。

　　2實驗分析

　　2.1 實驗數據集

　　1.6改進后的網絡結構圖

　　本文實驗主要基于R-FCN網絡結構，為了加檢測速度，本文在基于ResNet-101的預練模型上進行刪減實驗，最后只保留了前25層來實現對圖片特征的提取，并將RoI區域中bin的個數從7×7 變為3×3。以上兩點有效提升了模型的檢測速度，卻并沒有因為參數的減少而影響準確率。

　　上述措施雖然能將模型的速度提升，但無法提升模型的準確率，于是筆者將可變形卷積核和可變形位置敏感RoI池化引入。總共使用了兩個可變形卷積核，分別置于RPN兩側，將可變形位置敏感RoI池化代替原始的位置敏感RoI池化，改進后的網絡結構如圖6所示。

　　本文的數據集采用的是德國交通標志檢測數據集(German Traffic Sign Detection Benchmark,簡稱GTSDB)[22]。GTSDB 是在2013 年的國際神經網絡會議(IJCNN2013)上發布的，被用于當年的交通標志檢測大賽。該數據集包含900張高分辨率的道路交通圖片，其中訓練集600張，測試集300張，圖像大小全部為800×1360像素。圖片中交通標志的數量在0到6個，標志多為小目標，分辨率在16×16到128×128之間，形狀大多數為三角形和圓形。GTSDB中將43種交通標志分為了四大類，即禁令標志、指示標志、警告標志、其他標志。而根據當年比賽的規定，本文只對前三種標志進行檢測。因此本文訓練集總共包含666個標志，測試集包含273個標志。圖7為該數據集部分圖片與其檢測效果圖。

　　2.2錨點框維度聚類

　　通過對數據集的分析可知交通標志的面積遠小于原R-FCN的錨點框大小，使用原始的錨點將會使模型難以擬合那些過小的交通標志，因此需要對交通標志數據集進行聚類分析。

　　K-means聚類方法用歐氏距離定義損失函數，但在目標檢測算法中更適合采用預測框和anchor box的面積重疊度IOU作為度量距離, 則新的度量標準公式為：

　　d box centriodIOU box centriod??(4)

　　式中，box表示目標框尺寸, centriod表示聚類中心框尺寸。通過改變聚類中心點的個數得到不同的平均IOU，結果如圖8所示。

　　從圖8可看出當聚類個數為9時曲線逐漸平緩，于是選定9個錨點框，并且通過聚類可知交通標志長寬比的標注基本為1:1，錨點框具體大小設置為(22,22),(27,27),(32,32),(36,36),(40,40),(46,46),(56,56),(70,70),(100,100)。

　　2.3 實驗評價

　　本文實驗平臺信息：cpu為Inter Core i7-8700,內存16G，gpu為NVIDIA GeForce RTX 2070，顯存8G，操作系統為Ubuntu 16.04，深度學習框架為MXNET。

　　實驗中采用ImageNet數據集上訓練好的ResNet101，其參數不參與更新，總共訓練15個epoch，初始學習率為0.001，在訓練10個epoch后將學習率調整為0.0001。

　　本文采用目標檢測中常見的AP50,AP70和AP三個評價指標進行評測，AP50,AP70分別表示IOU(預測目標與實際目標的重疊比)大于0.5和大于0.75時正確檢出目標,AP為IOU [0.5:0.05:0.95]共10個IOU下AP的平均值。使用三個指標能更好的體現出可變形網絡對交通標志的適應能力，評價更為全面。

　　為了選擇適合本文的預訓練模型，本文首先以ResNet101和ResNet50為特征提取網絡的R-FCN在原模型下進行實驗，得到以下結果，如表1所示

　　經對比發現預訓練ResNet101網絡與ResNet50相差不大，ResNet101相比與ResNet50中conv4_x中額外的51層并沒有取得太大優勢，意味著對于本文交通標志檢測任務，ResNet101和ResNet50中的conv4_x的層數并不能產生太大的影響。于是選用總體偏優的ResNet101為特征提取網絡，為了加快檢測速度，將conv4_x模塊進行簡化，只保留其前三層參數，即整個特征提取網絡只剩下35層，實驗結果如表

　　對特征提取網絡ResNet101進行層數的刪減并沒有對檢測結果產生太大影響，對ResNet101中conv4_x模塊的簡化僅造成了微小的變化。說明前25層提取出來的特征圖已經包含了足夠交通標志的特征信息。

　　獲得了簡化的特征提取網絡后，本文便在簡化后的模型上進行實驗，通過聚類錨點，可變形卷積和可變形位置敏感ROI層加入其中，在訓練過程中采用在線難例挖掘方法，實驗的具體結果如表3所示。

　　實驗結果表明，在AP50時準確率提升了1.4%，達到97.8%。而在嚴格的AP75時達到94.7%，相比原算法提升了6%，總體AP更提升了將近9%。檢測時間方面本文相較原始的R-FCN(ResNet101)減少了60ms，速度提升兩倍有余。有效證明了本文保留前25層進行實驗的可行性，K-means聚類后錨點框的適應性。

　　交通標志信息的標注是人工標注，其標注框都是正方形，加入可變形卷積和可變形位置敏感RoI池化層具體地提取出更多關于交通標志形狀的信息，更加符合交通標志圓形，三角形以及矩形的特征，在更嚴格的AP75和AP評價指標下準確率明顯提升。通過添加OHEM技術，著重于困難例的訓練，模型的準確率進一步提升。

　　2.4 模型對比

　　在目標檢測領域的研究中，廣大學者已經提出了眾多優秀的目標檢測模型，但這些模型都在VOC，COCO數據集上做的實驗，這兩數據集種類多，數據量大，所設計的模型結構為了適應數據集其結構會設計的比較龐大。這些模型雖然可以直接用于交通標志分類檢測，但其模型結構并不能完全契合交通標志檢測數據集，比如其錨點框的大小形狀，因此需要進行適應性改進。

　　表4對比了其他經典模型在本文數據集上的結果。其中Faster RCNN，R-FCN，FPN特征提取網絡都為經過預訓練的ResNet101，其參數不參與更新，保持不變，訓練與檢測均為原尺寸。YOLO系列尺寸則為608x608，特征提取網絡為darknet。CenterNet特征提取網絡為DLA-34，尺寸為512x512。RetinaNet和Cascade RCNN的特征提取網絡為ResNet50-FPN，尺寸為原尺寸。各模型的錨點框大小均未進行調整。

　　從實驗結果可看出，FPN因為其多尺度的設計，在AP和AP75指標時明顯高于FasterRCNN與R-FCN這種單尺度的模型，證明了多尺度圖像特征金字塔可以有效檢測出交通標志這種小目標。但其使用的特征提取網絡為ResNet101速度偏慢，于是本文在CascadeRCNN選擇了參數較少ResNet50，并在其上使用FPN架構。最終使用了多尺度和多閥值的CascadeRCNN在AP指標時取得最高，達到了77.2%，但在AP50指標時卻則只有95.5%，還不如未改進的R-FCN。原R-FCN由于位置敏感得分圖的設計，適合于交通標志這種有特定形狀的目標，且本文交通標志只有三類，位置敏感得分圖層數少，一定程度上加快了檢測的速度，因此原始的R-FCN在速度與精度都有不錯的表現。

　　使用512尺寸的CenterNet在本文所對比模型具有最快的速度，中心點的設計原理也契合交通標志這種對稱的物體，因此其整體表現不錯。而使用原尺寸的RetinaNet在AP和AP75指標時同樣具有較強的競爭力。YOLOv3與YOLOv4[23]算法則在608尺寸時和本文所提模型的檢測速度接近，可以發現YOLOv4的準確率明顯高于YOLOv3，是所有對比模型中準確率在AP50指標時最接近本文的，但在更嚴格的AP75和AP評價指標時，仍然與本文算法有不小的差距。可見本文可變形卷積的引入是有必要的，在速度接近的情況下，本文模型在更嚴格的評價指標時依然擁有著不小的優勢。

　　3結束語

　　針對交通標志的檢測研究，本文先使用R-FCN算法進行研究，發現原始的R-FCN模型在準確率上已有良好的表現，但速度卻偏低，難以達到實時的要求，因此如何提升R-FCN的檢測速度和準確率成為本文關注的兩個重點。筆者通過模型簡化，K-means算法錨點框聚類，并將可變形卷積和可變形位置敏感RoI池化層加入到簡化后的模型中，在訓練過程中使用在線困難例挖掘策略。實驗結果表明，整個模型在速度提升的同時又不失精度，準確率高于其他經典模型，速度接近于實時，在精度與速度上取得了較優的平衡。在未來的工作中，將為模型尋找更適合于交通標志檢測的特征提取網絡，進一步提升模型檢測的速度與精度。