文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.174365
中文引用格式: 朱英凱,羅文廣,賓洋. 基于改進(jìn)車底陰影提取算法的前方運(yùn)動(dòng)車輛實(shí)時(shí)檢測(cè)[J].電子技術(shù)應(yīng)用,2018,44(4):86-89,98.
英文引用格式: Zhu Yingkai,Luo Wenguang,Bin Yang. Real-time detection of front moving vehicles based on improved vehicle shadow extraction algorithm[J]. Application of Electronic Technique,2018,44(4):86-89,98.
0 引言
基于視頻的前車實(shí)時(shí)檢測(cè)技術(shù),是利用電荷耦合元件(Charge-Coupled Device,CCD)[1]實(shí)時(shí)采集本車前方車輛在公路上行駛的視頻,然后對(duì)圖像進(jìn)行分析和處理,由此識(shí)別出視頻中的車輛。該類研究屬于汽車安全輔助駕駛領(lǐng)域,對(duì)減輕駕駛員駕駛壓力及減少交通事故有重要意義。大量文獻(xiàn)[2-7]表明車輛底部陰影特征較為顯著,因此準(zhǔn)確識(shí)別車底陰影是車輛檢測(cè)的前提。
基于車底陰影特征車輛檢測(cè)的方法主要有基于模型和基于特征的方法。基于模型的方法通常是根據(jù)車輛、場(chǎng)景、光照等先驗(yàn)知識(shí)建立2D或3D陰影模型[3-4],具有較好的適應(yīng)性,但受建立模型數(shù)量的限制。基于特征的方法是根據(jù)車底陰影的灰度值、紋理、形狀、梯度特征[5-7],將車底陰影與路面分割[6],通過(guò)車底陰影檢測(cè)確定車輛位置,最終達(dá)到車輛位置檢測(cè)的目的,但該方法易受光線的影響。
綜上所述,本文提出一種改進(jìn)的連續(xù)變矩形窗口的自適應(yīng)均值-方差差值法,以準(zhǔn)確地求出車底陰影閾值;并提出一種基于汽車尾部寬度模版的橫向遍歷最小均值法,生成車底陰影線假設(shè)的方法,以實(shí)現(xiàn)實(shí)時(shí)前車檢測(cè)。
1 車輛檢測(cè)算法
車輛檢測(cè)算法的實(shí)現(xiàn)過(guò)程為:確定前車感興趣區(qū)域(ROI);計(jì)算出車底陰影閾值,并生成車底陰影線假設(shè);對(duì)車底陰影線假設(shè)進(jìn)行驗(yàn)證,從而檢測(cè)出車輛。
1.1 ROI的選取
ROI的選取,即預(yù)估車輛可能出現(xiàn)在圖像中的范圍。合理的ROI區(qū)域的選取能縮小圖像檢測(cè)區(qū)域,提高實(shí)時(shí)性。研究表明,基于車道線的梯形ROI區(qū)域確定可以減小大量的計(jì)算量[8]。本文在車道線可識(shí)別的假設(shè)前提下確定梯形ROI區(qū)域[9]。梯形ROI區(qū)域內(nèi)完整地保留了車底陰影信息,減小了算法檢測(cè)的區(qū)域,提高了算法的實(shí)時(shí)性。同時(shí)梯形ROI的選取增大了最遠(yuǎn)處車輛的識(shí)別范圍,相對(duì)比固定消失點(diǎn)[10]的三角形ROI方法,減小了車輛漏檢率。
1.2 車底陰影閾值的計(jì)算
圖像中車底陰影在道路上的投影形狀通常近似為矩形[11],因此本文則將車底陰影的形狀視為矩形。經(jīng)大量統(tǒng)計(jì)可以得出,車底陰影矩形的寬度與高度的比例大約為5:1[11]。因此選擇寬、高比為5:1的矩形窗口作為遍歷模版,在ROI區(qū)域的所有像素點(diǎn)內(nèi),按由下至上、由左至右的順序進(jìn)行遍歷,求出車底陰影閾值。變矩形窗口的均值-方差差值自適應(yīng)閾值計(jì)算公式為[12]:
式中,Th為ROI區(qū)域的閾值;M為矩形窗口遍歷求得的最小灰度平均值;σ為M對(duì)應(yīng)矩形窗口內(nèi)像素點(diǎn)灰度值的標(biāo)準(zhǔn)差;G(u,v)為坐標(biāo)點(diǎn)(u,v)處像素點(diǎn)的灰度值,遍歷過(guò)程中坐標(biāo)點(diǎn)(u,v)取遍ROI內(nèi)所有像素點(diǎn),且順序由下至上、由左至右;(um,vm)為M對(duì)應(yīng)像素點(diǎn)坐標(biāo);W和H分別為圖像中矩形窗口像素的寬和高;w、h分別為遍歷矩形窗口內(nèi)像素點(diǎn)距其左上角像素點(diǎn)橫、縱像素距離。其中最小單位像素長(zhǎng)度為1,下文將長(zhǎng)度單位均視為圖像中像素長(zhǎng)度單位。
根據(jù)圖像的透視原理[12],同一物體越遠(yuǎn),在圖像上顯示越小,反之亦然。同理,在圖像中車底陰影同樣具有這一特征。圖1近似給出車底陰影寬度隨著圖像中遠(yuǎn)近程度改變而改變的變化規(guī)律[13]。線段AB為車底陰影在本圖像中的真實(shí)位置,若車底陰影位置分別位于CD、EF處,則此時(shí)的寬度分別為線段CD、EF的長(zhǎng)度,近而點(diǎn)ABFE圍成的梯形區(qū)域視為車底陰影所在區(qū)域假設(shè)。由于實(shí)時(shí)視頻中畫(huà)面的變化是連續(xù)的過(guò)程,同理車底陰影大小的變化是連續(xù)的,矩形車底陰影的寬度、高度的變化也是連續(xù)的。
由上述車底陰影大小的變化規(guī)律可知,使用固定大小的矩形窗口求解車底陰影灰度閾值并不合理,從而提出一種連續(xù)變化的矩形窗口閾值求解方法。圖1中,S為連續(xù)變化的矩形窗口,其在ROI區(qū)域內(nèi)的所有像素點(diǎn)遍歷時(shí),縱軸V方向像素點(diǎn)坐標(biāo)每上移一個(gè)單位像素點(diǎn)時(shí),W的值隨之減小Δw,H的值始終為W的1/5倍;沿橫軸U方向遍歷時(shí),S大小不變。S的寬度W縱向變化率為:
式中,Δw為矩形窗口S的縱向?qū)挾茸兓剩琖max為梯形ROI下底處矩形窗口S的寬,Wmin為梯形ROI上底處矩形窗口S的寬,HROI為梯形ROI的高(參見(jiàn)圖1)。
將改進(jìn)的變矩形窗口自適應(yīng)車底陰影閾值計(jì)算方法與傳統(tǒng)的固定矩形窗口車底陰影閾值計(jì)算方法[10]進(jìn)行比較,通過(guò)閾值分割二值圖可以看出,本文改進(jìn)的變矩形窗口自適應(yīng)車底陰影閾值計(jì)算方法較傳統(tǒng)固定矩形窗口閾值計(jì)算方法求得的閾值更為準(zhǔn)確。其中,圖2(a)為變矩形窗口自適應(yīng)車底陰影閾值分割二值圖,圖2(b)、圖2(c)為固定矩形窗口車底陰影閾值分割二值圖。
1.3 車底陰影檢測(cè)
1.3.1 車底陰影線假設(shè)
車底陰影檢測(cè)是通過(guò)檢測(cè)車底陰影與路面相交線位置,即能確定前方車輛位置。而車底陰影與路面相交線(下文統(tǒng)稱為車底陰影線)通常為水平線段,其長(zhǎng)度隨縱軸變化而連續(xù)變化;且車底陰影線上的像素點(diǎn)灰度均值小于閾值Th。基于上述車底陰影線的特征,本文提出一種基于車輛尾部寬度模版的橫向遍歷最小灰度均值法,快速生成車底陰影假設(shè)。圖3為車底陰影線假設(shè)生成過(guò)程示意圖。基于車輛尾部寬度模版,逐行計(jì)算出ROI區(qū)域內(nèi)每一行中最小灰度均值:
式中,Mv為最小灰度均值,即當(dāng)ROI區(qū)域的縱軸坐標(biāo)值v不變時(shí),以車底陰影線長(zhǎng)度為Wv的車輛尾部寬度模版,遍歷第v行上所有像素點(diǎn),求得第v行處的值;同圖3所述車底陰影大小變化規(guī)律,Wv的值隨著縱軸坐標(biāo)值變化而變化,縱向變化率同式(4)中的Δw。
然后,將計(jì)算出的Mv與閾值進(jìn)行比較,若Mv<Th,則記錄下Mv對(duì)應(yīng)的坐標(biāo)值(u,v),此時(shí)的坐標(biāo)值即為車底陰影線假設(shè)左頂點(diǎn)坐標(biāo),陰影線長(zhǎng)度即為該縱軸坐標(biāo)值v處對(duì)應(yīng)的Wv。若圖3中第v′行求得的Mv′小于Th,則像素點(diǎn)(u′+g,v′)為車底陰影線假設(shè)左頂點(diǎn)坐標(biāo),車底陰影線長(zhǎng)度為Wv′。由于車底陰影形狀為矩形,因此滿足Mv<Th的車底陰影線不止一條,如圖4所示,ROI區(qū)域內(nèi)產(chǎn)生多條車底陰影線假設(shè)。將車底陰影放大后可統(tǒng)計(jì)出生成模版的車底陰影線假設(shè)共有10條(以圖4為例),為準(zhǔn)確地檢測(cè)車輛,還需對(duì)假設(shè)結(jié)果進(jìn)行驗(yàn)證,確定出唯一車底陰影線。
1.3.2 車底陰影線驗(yàn)證
由于車底陰影線在車底陰影正下方,因此利用車底陰影特征對(duì)車底陰影線假設(shè)進(jìn)行驗(yàn)證。已經(jīng)知道車底陰影形狀呈矩形且灰度均值比閾值小,因此,利用寬度為Wv、高度為Hv=Wv/5的驗(yàn)證矩形窗口Sv,求出車底陰影線假設(shè)處像素點(diǎn)灰度值均值Mean(u,v)。像素點(diǎn)(u,v)為車底陰影線假設(shè)的左頂點(diǎn)坐標(biāo)位置,同時(shí)也是驗(yàn)證矩形窗口Sv的左下頂點(diǎn)坐標(biāo)。Mean(u,v)計(jì)算公式為:
車底陰影線驗(yàn)證按著車底陰影長(zhǎng)度Wv由大至小順序依次進(jìn)行,在驗(yàn)證過(guò)程中一旦有車底陰影線假設(shè)滿足Mean(u,v)<Th,即確定其為唯一車底陰影線,驗(yàn)證過(guò)程結(jié)束。
2 DSP硬件系統(tǒng)及實(shí)時(shí)算法實(shí)現(xiàn)
2.1 DSP硬件系統(tǒng)
本文選用的DSP為TMS320DM6437,利用其作為搭建視頻采集硬件系統(tǒng)的核心處理器,如圖5所示。
圖5中VPFE和VPBE分別為視頻處理子系統(tǒng)(VPSS)的前端和后端。系統(tǒng)利用CCD攝像機(jī)采集實(shí)時(shí)視頻,并將視頻信息傳送給VPFE,VPFE將模擬視頻信號(hào)轉(zhuǎn)換為數(shù)字視頻信號(hào)傳送給DM6437進(jìn)行車輛位置實(shí)時(shí)檢測(cè)算法處理,最后通過(guò)LED顯示。
2.2 實(shí)時(shí)算法實(shí)現(xiàn)
在離線車輛檢測(cè)算法中用時(shí)最長(zhǎng)的部分為車底陰影閾值計(jì)算,經(jīng)實(shí)驗(yàn)驗(yàn)證對(duì)每一幀圖像進(jìn)行閾值計(jì)算實(shí)時(shí)性較差。由于車輛行駛在公路上,在一定的時(shí)間內(nèi)光照情況及路面結(jié)構(gòu)幾乎不變,而這恰好是對(duì)車底陰影閾值影響較大的因素。因此,本文假設(shè)在一個(gè)單位時(shí)間(1 s)內(nèi)車底陰影閾值不變。基于本文算法,提出一種間隔幀數(shù)閾值求解的方法。即在實(shí)時(shí)視頻中,每間隔相同圖像幀數(shù)求解一次閾值。為了直觀體現(xiàn)間隔幀數(shù)求解閾值的實(shí)時(shí)效果,分別給出3種不同間隔幀數(shù)情況下DSP實(shí)時(shí)算法的實(shí)時(shí)性對(duì)比結(jié)果,見(jiàn)表1。
由表1可知,間隔30幀時(shí)DSP的每秒處理速度達(dá)到26幀/s,此速度可以滿足車輛檢測(cè)實(shí)時(shí)性要求,因此本算法選擇間隔的幀數(shù)為30。圖6為運(yùn)動(dòng)車輛檢測(cè)DSP實(shí)時(shí)算法程序流程圖,主要步驟包括:RIO區(qū)域選取、閾值計(jì)算、車底陰影線假設(shè)、車底陰影線驗(yàn)證。
3 檢測(cè)結(jié)果分析
本文實(shí)驗(yàn)所用的視頻來(lái)源于行車記錄儀,以2015年9月20日至25日拍攝于海門市人民西路路段、秀山路路段、上海市河南中路延安高架橋隧道等路段的圖像為例。
圖7是在不同光照及路面環(huán)境下,從DSP實(shí)時(shí)前車檢測(cè)結(jié)果中,隨機(jī)抽取的部分結(jié)果圖。本算法可以滿足不同光照、不同路面干擾及多種工況下的車輛檢測(cè)。為更加直觀地體現(xiàn)本算法的實(shí)時(shí)性及準(zhǔn)確性,本文參照文獻(xiàn)[9]的方法,分別隨機(jī)統(tǒng)計(jì)8 000張簡(jiǎn)單工況下及復(fù)雜工況下視頻圖像檢測(cè)結(jié)果。其中簡(jiǎn)單工況為光照正常,路面沒(méi)有干擾;復(fù)雜工況有光照較弱、道路標(biāo)示干擾、路面陰影干擾等情況。兩種工況下車輛檢測(cè)統(tǒng)計(jì)結(jié)果如表2所示。
4 結(jié)論
實(shí)驗(yàn)結(jié)果表明:采用變矩形窗口自適應(yīng)均值-方差差值閾值求解法,可以在不同光照及不同路面環(huán)境下準(zhǔn)確、快速地計(jì)算出車底陰影閾值;基于車輛尾部寬度模版的逐行最小均值搜索法生成車底陰影線假設(shè),可以大幅度提高算法的實(shí)時(shí)性,為DSP實(shí)時(shí)算法的實(shí)現(xiàn)提供了有利條件。
綜上所述,基于改進(jìn)車底陰影提取算法的前方運(yùn)動(dòng)車輛實(shí)時(shí)檢測(cè)技術(shù)實(shí)時(shí)性好、魯棒性強(qiáng),在不同的交通環(huán)境、天氣情況下均能較好地檢測(cè)出車輛。
參考文獻(xiàn)
[1] 陳蘇婷,楊世洪.基于感興趣區(qū)域的可變頻CCD實(shí)時(shí)處理系統(tǒng)[J].電子技術(shù)應(yīng)用,2012,38(1):34-37.
[2] Qu Shiru,Li Xu.Research on multi-feature front vehicle detection algorithm based on video image[C].Chinese Control and Decision Conference(CCDC).IEEE,2016:3831-3835.
[3] COLLADO J M,HILARIO C.Model based vehicle detection for intelligent vehicles[C].IEEE Intelligent Vehicles Symposium(S.l.).IEEE,2004:572-577.
[4] 胡銦,楊靖宇.基于模型的車輛檢測(cè)與跟蹤[J].中國(guó)圖象圖形學(xué)報(bào),2008,13(3):450-455.
[5] SANIN A,SANDERSON C,LOVELL B C.Shadow detection:a survey and comparative evaluation of recent methods[J].Pattern Recognition,2013,45(4):1684-1695.
[6] Jin Lisheng,Gu Baiyuan,Wang Rongben,et al.Preceding vehicle detection based on multi-characteristics fusion[J].IEEE International Conference on Vechicular Electronics and Safety,ICVES 2006,2007:356-360.
[7] YANG M S,LAI C Y,LIN C Y.A robust EM clustering algorithm for Gaussian mixture models[J].Pattern Recognition,2012,45(11):3950-3961.
[8] 齊美彬,潘燕,張銀霞.基于車底陰影的前方運(yùn)動(dòng)車輛檢測(cè)[J].電子測(cè)量與儀器學(xué)報(bào),2012,26(1):54-59.
[9] 胡銦.基于單目視覺(jué)得運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究[D].南京:南京理工大學(xué),2007.
[10] KROEGER T,Dai Dengxin,GOOL L V.Joint vanishing point extraction and tracking[C].IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2015:2449-2457.
[11] 顧柏園.基于單目視覺(jué)的安全車距預(yù)警系統(tǒng)研究[D].長(zhǎng)春:吉林大學(xué),2006.
[12] 楊必武,郭曉松.攝像機(jī)鏡頭非線性畸變校正方法綜述[J].中國(guó)圖象圖形學(xué)報(bào),2005,10(3):269-274.
[13] TSENG S P,F(xiàn)ONG D.A DSP based real-time front car detection driving assistant system[C].SICE Annual Conference,2010:2419-2423.
作者信息:
朱英凱,羅文廣,賓 洋
(廣西科技大學(xué) 電氣與信息工程學(xué)院,廣西 柳州545006)