02024年3月26日-28日，2024中國(guó)商用車論壇在湖北省十堰市舉辦。本屆論壇由中國(guó)汽車工業(yè)協(xié)會(huì)主辦，以“新步伐 新成效 新提高，助力商用車產(chǎn)業(yè)高質(zhì)量發(fā)展”為主題，基于行業(yè)高質(zhì)量發(fā)展要求、國(guó)家“雙碳”目標(biāo)實(shí)現(xiàn)、汽車產(chǎn)業(yè)轉(zhuǎn)型和創(chuàng)新需要，以創(chuàng)新促改革、促轉(zhuǎn)型、促發(fā)展，助力商用車產(chǎn)業(yè)高質(zhì)量發(fā)展。其中，在3月28日上午舉辦的“主題論壇二：智能網(wǎng)聯(lián)技術(shù)賦能，加速商用車行業(yè)發(fā)展”上，湖北汽車工業(yè)學(xué)院汽車工程師學(xué)院院長(zhǎng)、教授陳宇峰發(fā)表精彩演講。以下內(nèi)容為現(xiàn)場(chǎng)發(fā)言實(shí)錄：
各位專家，各位嘉賓，線上的朋友們，大家上午好。
我是湖北汽車工業(yè)學(xué)院的一位老師，首先向大家宣傳一下我們學(xué)校。我們學(xué)校是全國(guó)唯一一所以汽車命名的公辦普通高等院校，國(guó)內(nèi)相關(guān)的企業(yè)都有我們學(xué)校的畢業(yè)生，也非常歡迎大家到我們學(xué)校招聘畢業(yè)生。我所在的汽車工程師學(xué)院圍繞智能汽車開展人才培養(yǎng)。
我今天給大家?guī)?lái)的報(bào)告是車聯(lián)網(wǎng)環(huán)境下結(jié)合換道意圖識(shí)別的碰撞預(yù)警研究。
我將分四部分：
第一部分，背景。
其實(shí)咱們國(guó)家連續(xù)15年汽車產(chǎn)銷數(shù)量位居全球第一，可以看到我們的車輛，特別是汽車的保有量是逐年上升的。根據(jù)國(guó)家統(tǒng)計(jì)年鑒2023年發(fā)布數(shù)據(jù)，2022年，汽車交通事故所帶來(lái)的損失也是巨大的，包括對(duì)人民生命財(cái)產(chǎn)安全的影響，應(yīng)該說(shuō)也是對(duì)社會(huì)安全也是產(chǎn)生了影響。
我們就說(shuō)了，如果說(shuō)能夠提前識(shí)別駕駛意圖，也有研究來(lái)表明，如果能夠提前1.5秒鐘識(shí)別它車的駕駛意圖，將能夠降低90%的交通事故。在這些交通事故當(dāng)中，有一類的駕駛行為是非常危險(xiǎn)的，也就是隨意變更車道。剛才楊秘書長(zhǎng)也介紹了，隨意變更車道，不僅會(huì)影響其他車輛的正常運(yùn)行，也是交通事故產(chǎn)生的很大的一個(gè)引發(fā)誘因。城市道路，隨意變更車道很容易產(chǎn)生刮蹭問(wèn)題，而在高速公路上會(huì)產(chǎn)生車毀人亡的后果。我們有轉(zhuǎn)向燈，但是實(shí)際情況是什么呢，在換道過(guò)程中開轉(zhuǎn)向燈的概率是比較低的，特別有人開車的時(shí)候，他會(huì)隨意的，他想起來(lái)的時(shí)候才打轉(zhuǎn)向，甚至不打轉(zhuǎn)向，等他想起來(lái)打轉(zhuǎn)向延遲已經(jīng)很大了。另外來(lái)講，有的時(shí)候駕駛?cè)司退汩_了轉(zhuǎn)向燈，其實(shí)有時(shí)候也是誤操作，這樣對(duì)駕駛?cè)藛T的意圖識(shí)別產(chǎn)生了很大的影響。
在我們現(xiàn)在的很多研究中，也就是說(shuō)在我們車聯(lián)網(wǎng)還沒(méi)有進(jìn)行大規(guī)模的普及之前，單車智能能起到很大的作用，通過(guò)自身傳感器獲取周圍車輛信息，攝像頭，毫米波雷達(dá)，超聲波雷達(dá)能夠獲取周圍車輛信息，但是畢竟有遮擋存在、天氣影響，使單車智能對(duì)復(fù)雜交通環(huán)境狀況的識(shí)別還是不足?，F(xiàn)在車聯(lián)網(wǎng)，車路協(xié)同、車車通信、V2X的技術(shù)，就能夠?yàn)槲覀兊能囕v提供更多的周圍車輛的信息，從而為自車能夠去識(shí)別周圍車輛的駕駛意圖提供一個(gè)很好的通信基礎(chǔ)。
那我們說(shuō)了，如果用車聯(lián)網(wǎng)識(shí)別換道意圖的時(shí)候會(huì)面臨什么問(wèn)題呢，這是我第二塊的研究?jī)?nèi)容。
首先看問(wèn)題和動(dòng)機(jī)。
如果用車聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)交換的時(shí)候，一定會(huì)面對(duì)一個(gè)丟包問(wèn)題，這個(gè)在通信中不能避免?，F(xiàn)在問(wèn)題來(lái)了，如果丟包了，車聯(lián)網(wǎng)場(chǎng)景中，對(duì)駕駛意圖識(shí)別到底有多大的影響？另外我們?nèi)绻f(shuō)是用人工智能的算法，特別是現(xiàn)在深度學(xué)習(xí)也比較火，如果說(shuō)用深度學(xué)習(xí)的算法來(lái)做，對(duì)于算力負(fù)載需求能否能有合理的降低呢，這就是我們需要考慮的兩個(gè)問(wèn)題。這里面，我們就希望通過(guò)對(duì)深度學(xué)習(xí)算法的研究，從兩個(gè)角度，一個(gè)是降低我們的數(shù)據(jù)采樣頻率，能夠?qū)崿F(xiàn)對(duì)算力負(fù)載的要求降低。另外，我們還要考慮，如果有數(shù)據(jù)丟包了，我們這樣的算法是否能夠適應(yīng)這樣車聯(lián)網(wǎng)的場(chǎng)景。
基于這樣的問(wèn)題和動(dòng)機(jī)，我們進(jìn)行了相應(yīng)的一些研究。首先來(lái)看數(shù)據(jù)集，NGSIM數(shù)據(jù)集。
我們以US-101路段數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練和測(cè)試，包含了車輛各種信息，這也是公開數(shù)據(jù)。提前要做一些數(shù)據(jù)濾波處理，101數(shù)據(jù)集是攝像頭采集的，需要把攝像頭信息轉(zhuǎn)變?yōu)檐囕v結(jié)構(gòu)數(shù)據(jù)信息，這里轉(zhuǎn)變以后，我們用一個(gè)濾波算法，就是Savitzky-Golay算法，來(lái)平滑原始數(shù)據(jù)。
這里可以看到，藍(lán)色是自車，需要識(shí)別周圍的車輛是否有換道意圖。目標(biāo)是盡早識(shí)別換道意圖，而且通過(guò)車輛交互的信息來(lái)識(shí)別它的換道意圖。所有車輛定時(shí)公開或者發(fā)布自己的信息，這里被預(yù)測(cè)車輛是紅色車輛，綠色車輛是其環(huán)境車輛。我們?cè)谏疃葘W(xué)習(xí)模型里面，輸入的數(shù)據(jù)，包括S和E，S代表被預(yù)測(cè)車輛信息，E代表被預(yù)測(cè)車輛的周圍車輛信息。
下面我們對(duì)車輛的駕駛行為序列進(jìn)行提取。這里面分兩位類，一類是直行序列，一類是換道序列，怎么識(shí)別換道序列？當(dāng)車輛軌跡和車道有交點(diǎn)，我們定義為換道點(diǎn)。通過(guò)對(duì)換道點(diǎn)前面的軌跡點(diǎn)的車輛航向角和閾值比對(duì)，如果出現(xiàn)連續(xù)三個(gè)采樣點(diǎn)都小于這個(gè)值，意味著這里出現(xiàn)了一個(gè)換道的起點(diǎn)，這個(gè)圖里面，綠色的點(diǎn)往左，因?yàn)檐囕v往右行駛，往左的三個(gè)黑點(diǎn)達(dá)到了這個(gè)條件，綠色的點(diǎn)被定義為換道起點(diǎn)，紅色點(diǎn)是換道點(diǎn)，藍(lán)色是換道過(guò)程點(diǎn)，一系列的換道序列作為測(cè)試序列和訓(xùn)練序列。
在這里面，因?yàn)樯疃葘W(xué)習(xí)的LSTM模型是比較經(jīng)典也是比較常用的，能夠進(jìn)行長(zhǎng)短時(shí)記憶的網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)因?yàn)槭且粋€(gè)比較常見(jiàn)的網(wǎng)絡(luò)模型，我就簡(jiǎn)單介紹一下。分為三個(gè)門，一個(gè)是遺忘門，一個(gè)輸入門，一個(gè)輸出門。這里面有相應(yīng)的公式計(jì)算出長(zhǎng)時(shí)網(wǎng)絡(luò)記憶，以及短時(shí)網(wǎng)絡(luò)記憶，以及輸出門數(shù)據(jù)，一起最終得到了當(dāng)前狀態(tài)。
我們有了這樣的一個(gè)基本的LSTM模型以后，再用雙向LSTM。為什么用雙向呢？其實(shí)雙向意思就是既能代表前向，也能代表后向。前向來(lái)講，是能夠通過(guò)前向的LSTM結(jié)構(gòu)提取車輛的歷史特征。但是呢，我們又可以通過(guò)后向網(wǎng)絡(luò)來(lái)提取這個(gè)車輛未來(lái)時(shí)刻的特征。最終把這些特征信息進(jìn)行拼接輸出。我們引入雙向特征以后，就能夠更好的識(shí)別輸入序列的一個(gè)相互依賴關(guān)系，從而增強(qiáng)模型的泛化能力。當(dāng)然我們說(shuō)光雙向還不夠，為什么呢？因?yàn)檎麄€(gè)輸入中，有不同的序列，得到的每個(gè)輸出時(shí)刻特征序列的權(quán)重是不一樣的，所以可以引入注意力機(jī)制。注意力機(jī)制是在眾多信息當(dāng)中選出你覺(jué)得哪些更重要的信息，賦予其更高的權(quán)重。我們引用了Attention注意力機(jī)制，可以捕捉每一個(gè)輸出時(shí)刻重要的狀態(tài)信息。這里呢，通過(guò)對(duì)每一個(gè)輸出時(shí)刻的重要性程度給它賦予不同的權(quán)值，提高模型的識(shí)別性能。
這是我們一個(gè)總的模型，在這個(gè)模型里面，我們有一個(gè)輸入模塊，這里邊是一個(gè)全連接，就是輸入做了全連接。這里識(shí)別網(wǎng)絡(luò)就是剛才的雙向網(wǎng)絡(luò)作為輸出，另外用一個(gè)函數(shù)進(jìn)行歸一化，最終形成左轉(zhuǎn)，右轉(zhuǎn)和直行三種概率，這三個(gè)概率判斷我們選擇其中最大一種作為一個(gè)最終的識(shí)別類。
這里評(píng)估方法，是通用的混淆矩陣。這里面用一個(gè)指標(biāo)F1macro來(lái)做總體評(píng)價(jià)?；氐轿覀儎偛诺膯?wèn)題，如果我們想降低車載計(jì)算平臺(tái)的算力需求，我們希望能夠降低采樣頻率。我們首先以LSTM作為一個(gè)基準(zhǔn)模型來(lái)進(jìn)行一個(gè)測(cè)試，這里我們看到的，如果說(shuō)采樣頻率是1、3、5、10這樣一個(gè)頻率，另外我們丟包率設(shè)置為無(wú)丟包、30%到60%丟包。如果采用5Hz或者10Hz，性能相似，差距不太大，而且不太受丟包的影響。采樣率為3的時(shí)候，受丟包影響也不太大，但是采樣為3，整個(gè)識(shí)別效果比我們頻率為5，頻率為10要低一些，也是符合直觀感受，所以后面分析當(dāng)中，我們采用5Hz的采樣頻率進(jìn)行后續(xù)性能的對(duì)比分析實(shí)驗(yàn)。
先對(duì)無(wú)丟包的情況進(jìn)行了一個(gè)對(duì)比分析，這里面做了一個(gè)消融實(shí)驗(yàn)，LSTM、BiLSTM等等機(jī)制。通過(guò)這樣一個(gè)消融實(shí)驗(yàn)，我們可以看到這四個(gè)模型的效果不一樣的。總體來(lái)看，就是我們所提出的雙向LSTM+Attention獲得最好的效果。當(dāng)我們用曲線來(lái)看，也可以看到AUC曲線的面積也是最大的，因此從無(wú)丟包的情況來(lái)看，我們提出的模型效果是最好的。
當(dāng)我們有30%丟包的時(shí)候效果怎么樣，在30%丟包的情況下，頻率還設(shè)定是5Hz，在這樣的情況下，我們的模型取得的效果依然是最好的。但是我們還對(duì)比了30%丟包的情況和無(wú)丟包的情況、四個(gè)模型的表現(xiàn)，我們可以看到和無(wú)丟包的情況對(duì)比，這四個(gè)模型里面，它的F1macro值降了多少，分別是0.4%多，0.5%多，0.5%多和0.1%多，這意味著我們所提出的模型降低最小。通過(guò)這樣一個(gè)模型對(duì)比，通過(guò)仿真實(shí)驗(yàn)可以得出基本的結(jié)論，就是我們的模型對(duì)丟包場(chǎng)景的適應(yīng)性是比較好的。
第三、結(jié)合換道意圖識(shí)別的碰撞預(yù)警。
這樣一個(gè)結(jié)合策略來(lái)講，其實(shí)也比較簡(jiǎn)單，也是通用的，是一個(gè)基于距離的分級(jí)預(yù)警策略。這里面前面先通過(guò)，把我們剛才的這樣一個(gè)換道識(shí)別的模型融入到碰撞預(yù)警的分級(jí)策略中去，先通過(guò)換道意圖識(shí)別模型得到周圍車輛、被預(yù)測(cè)車輛的一個(gè)換道意圖，然后再來(lái)判斷我們跟它碰撞的風(fēng)險(xiǎn)有多大，這樣分別就實(shí)現(xiàn)了初級(jí)預(yù)警、二級(jí)預(yù)警和三級(jí)預(yù)警，當(dāng)然級(jí)別越高，風(fēng)險(xiǎn)越大，說(shuō)明距離越短。
這是我們?nèi)×藘奢v車，是在7:50到8:05這樣一段時(shí)間中，選了兩輛車，一個(gè)是左轉(zhuǎn)，一個(gè)右轉(zhuǎn)車道，上面三條線，是換道概率識(shí)別出一個(gè)左轉(zhuǎn)、一個(gè)右轉(zhuǎn)。第一個(gè)圖最右邊是4秒，意味著在4秒的時(shí)候，這個(gè)車進(jìn)入到了車道線的換道點(diǎn)，我們能夠識(shí)別出的時(shí)間大約在不到2秒，因此能夠提前2秒左右能夠判斷出這個(gè)車在換道了。右邊這個(gè)圖換道比較急，我們可以看到進(jìn)入換道點(diǎn)大概2秒多一點(diǎn)，但是1秒左右識(shí)別出來(lái)了，因此我們能夠提前1秒左右判斷出它有換道的意圖，這個(gè)是自車判斷周圍車輛什么時(shí)候換道可以有一個(gè)提前預(yù)警。
這里分別各選了左轉(zhuǎn)、右轉(zhuǎn)的150組數(shù)據(jù)，共300組里面進(jìn)行預(yù)警評(píng)估，這里面確實(shí)沒(méi)有達(dá)到100%的換道意圖識(shí)別，有25組沒(méi)有識(shí)別，但是剩余換道意圖識(shí)別里面，有120組是在車道線，就是到車道線之前的3秒內(nèi)完成了換道意圖識(shí)別，有62組是2秒到3秒?yún)^(qū)間能夠識(shí)別了，還有56組是在1秒到2秒范圍內(nèi)完成識(shí)別，當(dāng)然也有在1秒內(nèi)識(shí)別的，就是31組，也就是說(shuō)這31組應(yīng)該是在1秒內(nèi)識(shí)別，它的緊急程度是比較高的。但是根據(jù)我們剛才的分級(jí)預(yù)警策略里面，在二級(jí)預(yù)警和三級(jí)預(yù)警分別是10次和3次，這也說(shuō)明我們整個(gè)預(yù)警策略是能夠有一定的提前量，能夠及早預(yù)警，這是碰撞預(yù)警的驗(yàn)證。
第四，總結(jié)。
總結(jié)一下我們的工作，因?yàn)橄啾绕髽I(yè)界做的工作來(lái)講，我們做得比較初步，我們也希望在我們基礎(chǔ)上，能夠通過(guò)深度學(xué)習(xí)的人工智能算法，為道路交通安全提供模型基礎(chǔ)，但是我們也希望在實(shí)際過(guò)程中，結(jié)合工程實(shí)踐，能夠解決一些算力問(wèn)題，同時(shí)結(jié)合我們車聯(lián)網(wǎng)的實(shí)踐，對(duì)丟包問(wèn)題能夠有很好的應(yīng)對(duì)策略。我們提出的算法在適當(dāng)降低采樣頻率、場(chǎng)景有丟包的情況下保持了良好性能。有了這樣一個(gè)意圖識(shí)別，能夠?yàn)槲覀兘煌ㄊ鹿逝鲎差A(yù)警有一個(gè)提前量，從而提升道路交通安全性。
未來(lái)還會(huì)考慮幾個(gè)因素做一些改進(jìn)，比如說(shuō)通信時(shí)延問(wèn)題，因?yàn)檫@里沒(méi)有考慮時(shí)延，時(shí)延比較小、如果是車車通信的話，后面要做車路協(xié)同，或者車云協(xié)同，車路協(xié)同跟路側(cè)交互，那時(shí)延會(huì)變大，如果通過(guò)車云交互，這樣時(shí)延會(huì)更大，時(shí)延的影響又怎么樣。另外在丟包的策略中，現(xiàn)在選擇的是隨機(jī)丟包，但是通信網(wǎng)絡(luò)還有很多突發(fā)性的丟包，在不同的丟包模型下，我們的模型是否還有適配性，甚至未來(lái)的網(wǎng)絡(luò)攻擊下，我們模型是否還能更好的識(shí)別。這是未來(lái)需要研究的地方。
我的匯報(bào)就到這里，謝謝大家。
