王亞鋒:仿真賦能、數(shù)據(jù)驅動,助力智能網(wǎng)聯(lián)商用車安全落地

本站2023-04-07
56430

2023年3月28日-29日,首屆中國商用車論壇在湖北十堰舉辦。本屆論壇由中國汽車工業(yè)協(xié)會、湖北省經信廳、東風公司和十堰市人民政府共同主辦,以“應變 求變 謀變——共創(chuàng)商用車發(fā)展新局面”為主題,共設“1場閉門峰會+1個大會論壇+4個主題論壇”,旨在聯(lián)合能源、交通、信息等各方力量,共同探討商用車產業(yè)發(fā)展趨勢,推動商用車高質量發(fā)展。其中,在3月29日下午舉辦的“商用車智能網(wǎng)聯(lián)應用”主題論壇上,蘇州智行眾維智能科技有限公司CMO王亞鋒發(fā)表精彩演講。以下內容為現(xiàn)場發(fā)言實錄:

圖片 1.png

大家好!我是來自蘇州智行眾維智能科技有限公司的王亞鋒,下午從協(xié)會王耀博士,到朱教授,再到東風主機廠,一汽解放,大家可能都聽到了關于自動駕駛落地的場景,另外中汽中心標準所,中國汽研檢測中心,襄陽達安檢測中心的專家同時都提到高級別自動駕駛準入里面一個很重要的技術驗證體系——三支柱法,包括:虛擬仿真測試,整車測試,道路測試。我們面向行業(yè)的痛點,結合行業(yè)的需求,通過數(shù)據(jù)驅動,加快產品的迭代,通過仿真賦能,能夠使我們的產品更快落地,助力商用車產業(yè)轉型升級。

接下來通過PPT展示的幾個章節(jié),希望能給大家?guī)硪恍﹩l(fā)或找到一些思考點。首先介紹的是自動駕駛仿真測試所需要的整個工具鏈,對于自動駕駛開發(fā),像東風的李洋博士提到的,需要落地場景,無論是無人港口、無人礦卡,還是干線物流,當我們在做產品開發(fā)的時候,這些場景將幫助我們實現(xiàn)仿真測試驗證。為了功能安全以及預期功能安全,我們需要積累海量商用車落地應用的各種工作場景、危險場景、以及極端場景,這里面就需要一個生產仿真測試場景并進行仿真測試驗證的完整工具鏈。無論是乘用車、商用車、無人礦卡等的研發(fā)驗證,都離不開目前展示的這整個工具鏈。

圖片 2.png

在該工具鏈的頂端,首先是數(shù)據(jù)采集,我們分為兩個方面來介紹。

一種是車端的數(shù)據(jù)采集,我們通過車端收集真實道路自然交通流的一些有效數(shù)據(jù)。第二種是路端數(shù)據(jù)采集。隨著現(xiàn)在中國C-V2X的發(fā)展,大家知道在智能網(wǎng)聯(lián)先導示范區(qū),例如蘇州、武漢,重慶、上海、北京亦莊等地,有很多V2X的路側設備。我們通過路側采集設備,能夠獲取實時的交通流,把這些真實數(shù)據(jù)流可以用于仿真場景重構或者算法的訓練??傊覀兺ㄟ^數(shù)據(jù)采集,無論是來自車端的,還是路端的,這些數(shù)據(jù)可以服務于自動駕駛算法,去做感知訓練、算法測試、迭代。我們通過采集車和路側設備采集真實道路數(shù)據(jù),希望能夠不僅僅只用于這個車型,可以用于轎車,也可以用于卡車等不同車輛,那采集到的數(shù)據(jù),怎樣才能復用于其他車型呢?這里就需要我們把真實采集的數(shù)據(jù)生產成數(shù)字孿生仿真場景。換句話說,我們把自然駕駛場景數(shù)據(jù)在虛擬世界里還原?;谔摂M的仿真測試場景,在數(shù)字孿生世界里進行轎車算法,卡車的算法,或者無人礦卡等不同車型的測試驗證。

所以說自動駕駛的商業(yè)落地需要場景,我們的方案稱之為“水木靈境”場景工場。有一位造車新勢力的副總裁提到,如果是L4的車,它需要的基礎訓練場景是以百萬、千萬的片段作為基數(shù),同時基于百萬、千萬的場景數(shù)據(jù),再進行場景的泛化,這個場景數(shù)據(jù)量可能是上億、幾十億的量級,這也是為什么大家前幾年聽到Waymo已經做數(shù)百億英里的仿真訓練,需要大量的仿真場景??傊覀兺ㄟ^數(shù)據(jù)采集和仿真場景構建,一方面訓練感知算法,另一方面打造自動駕駛算法測試驗證所需要的場景,這些場景是服務于SIL、MIL、HIL、VIL等仿真測試的基礎。

通過仿真場景,我們再回到中間所示的X-in-Loop?技術閉環(huán)體系。整個IAEX-in-Loop?技術體系,可以用于支撐前面幾位主機廠演講嘉賓所提到的V字開發(fā)流程,V流程源自汽車傳統(tǒng)性能開發(fā)流程,對于自動駕駛系統(tǒng)的開發(fā),也是基于這樣的V流程。V流程實現(xiàn)開發(fā)過程的技術閉環(huán)和數(shù)據(jù)閉環(huán),從仿真測試到道路測試,包括封閉道路試驗場以及開放道路測試,組成了現(xiàn)在工信部等國家主管部門提出的“三支柱法”:虛擬仿真,整車仿真測試,道路測試,來保證自動駕駛算法的安全性、可靠性,安全冗余,保障智能網(wǎng)聯(lián)車輛安全運行。

圖片 3.png

接下來我們展開一下,什么是X-in-Loop?技術體系,這個X就是我們的被測對象,對自動駕駛算法,我們從在前期概念階段所謂基于模型階段的MIL,或者說做軟件代碼層級的SIL,同時在概念設計階段,可以進行智能座艙開發(fā),智能座艙可以基于駕駛員在環(huán)DIL進行測試驗證。通過左側的虛擬仿真的驗證,再到右側的半實物、整車級驗證、道路測試驗證,完成整個V流程開發(fā)。對智能駕駛車輛來說,可能要應對無窮盡的不同場景,商用車的場景也千變萬化。

怎么能夠讓算法在SIL階段滿足這樣海量測試場景的驗證呢?答案是基于云計算能力的海量場景仿真?;谒接性苹蚬性?,在云端布署成百上千、上萬的計算節(jié)點,算法可以同步實現(xiàn)幾百上千個節(jié)點并發(fā),可以想象下,同時有1000臺虛擬車同步運行不同的測試場景,或者說1個算法同時跑1000個不同場景,都可以在云端實現(xiàn)自動化部署,這樣會大大加速自動駕駛算法的仿真測試?,F(xiàn)在在蘇州高鐵新城我們已經建設了400多個仿真節(jié)點,可以實現(xiàn)日行百萬公里以上的虛擬仿真測試。

X-in-Loop?的技術體系是以數(shù)據(jù)為驅動的,我們需要海量的仿真測試場景作為數(shù)據(jù)基礎。對于IAE“水木靈境”場景工場(智能駕駛仿真場景數(shù)據(jù)庫)來說,這一頁給大家展示的就是典型場景元素,一個場景里有靜態(tài)的元素,例如道路的基礎設施,包括路牌、車道線等這些,還有動態(tài)場景,例如交通參與者等,這些元素組成各種邏輯關系,會形成一個非常復雜的交通場景,例如深夜、暴雨天,路面結冰,再結合沒有遵守交通規(guī)則的機動車輛、行人,這些場景對于自動駕駛來說都是極限危險場景。

圖片 4.png

基于這樣的場景元素組成,目前我們在“水木靈境”場景工場中不斷為行業(yè)提供以下三大類場景,第一類是有跡可循,這個“跡”是基于高精地圖,無論是現(xiàn)在L3的車,還是L4的,大家很多都基于高精地圖定位。在仿真測試的時候,算法在測試的時候,所需要的場景也要需要和高精地圖匹配。目前場景工場中覆蓋了從北方長春的高速,到南方的??诘膱鼍?,同時也包括蘇州、廣州、重慶、上海等城市的數(shù)字孿生場景。在我們公司所在地蘇州,我們把高鐵新城整個區(qū)域都進行了數(shù)字孿生,以服務區(qū)域內上下游產業(yè)鏈企業(yè)對場景仿真數(shù)據(jù)的極大需求。同時還包括自然駕駛場景,以及真實駕駛過程的交通事故場景,即CIDAS中國交通事故復現(xiàn)場景。第二類是有法可依,國內外公布了一些法規(guī),基于相關法規(guī),如ENCAP、CNCAP、ISO這些法規(guī)去建立標準法規(guī)測試場景,來通過這些法規(guī)仿真測試,同時包括還有V2X的場景,中國交通規(guī)則場景等等。第三類是有需可取。我們剛才談到無人礦卡所需的場景,無人農機場景等,可以幫助客戶實現(xiàn)定制,包括預期功能安全的大量場景。

圖片 5.png

下面展示部分典型仿真場景,例如3D斑馬線、出入口閘機、環(huán)島,法規(guī)場景,城市場景,CIDAS場景等。CIDAS相關場景,是把真實道路中發(fā)生的交通事故場景在仿真環(huán)境中重構出來,包含了車速、軌跡等信息。假如說一個左轉車輛碰到了行人,是由于A柱盲區(qū)造成的,如果在仿真環(huán)境中車輛加上BSD功能,在這樣的場景下就可以驗證BSD功能。

圖片 6.png

除了這些仿真場景之外,基于路側設備收集道路交通數(shù)據(jù),每天每時每刻可以重構不同的場景。大家現(xiàn)在看到的是中午時刻在蘇州高鐵新城一個交叉口的交通流場景。目前路側設備上基本都部署有激光雷達,或者是毫米波雷達,以及攝像頭,通過這些設備采集的數(shù)據(jù)可以建立上帝視角的路口交通流仿真場景,在后續(xù)仿真階段,該類仿真場景就會用到我們的算法驗證上。

圖片 7.png

下面是與剛剛東風商用車講到的商用車落地場景直接相關的仿真場景。大家可以看到,這一頁的場景和上一頁的場景不太相同。上一頁場景里是結構化道路。而對于無人礦卡就是有一些路基,或者能看到一些指示牌等這些,所以在這種場景里面搭建非結構化道路的場景,比如農機、農田里面的路面的起伏等特點。另外就是無人碼頭港口的場景,如果需要開發(fā)無人卡車用于集裝箱運輸?shù)捻椖?,在項目早期就可以通過無人碼頭數(shù)字孿生仿真場景,進行規(guī)控算法等的仿真測試,而不是直接到碼頭上去進行場地測試,這樣可以極大縮短產品的迭代周期。

圖片 8.png

剛才談到的這些仿真測試場景,都是如何構建的呢,這就需要一套工具鏈支撐。首先,在采集場景之前,對于一個場景數(shù)據(jù)采集車輛來說,需要進行傳感器的標定,無論采集車裝的是攝像頭還是激光雷達,最后生成的場景都是以傳感器的視角呈現(xiàn)進行對比驗證的。假如說采集時用的是激光雷達,他的安裝位置,對地的高度,安裝角等會有誤差,所以一般會對采集車傳感器做一個標定,下面是我們做的一個卡車傳感器標定系統(tǒng)的設計圖。

圖片 9.png

標定以后,通過我們自研的采集設備iTTPlus采集激光雷達、毫米波雷達、攝像頭等相關信息,得到這些信息之后,需要對原始信息進行各種預處理,生成目標列表到仿真軟件中,以用于動態(tài)、靜態(tài)的仿真場景構建。這是目前我們自研的一套場景生產工具鏈,能夠對場景數(shù)據(jù)進行回放、切片,提取動態(tài)的目標列表等。高精度靜態(tài)場景加上動態(tài)交通流就可以形成一個真實的、高精度的動態(tài)數(shù)字孿生仿真場景。

圖片 10.png

下面是兩個實例,視頻右上角是前置攝像頭采集的真實視頻,下面是重構的數(shù)字孿生仿真場景,可以達到場景真實還原。右邊的是自然駕駛環(huán)境中的cut-in場景重構。

圖片 11.png

接下來再談一談仿真場景如何去應用。第一個方面:基于“水木靈境”場景工場生成訓練數(shù)據(jù)集,包括不同的天氣,不同時間段的數(shù)據(jù),等等。數(shù)據(jù)采集的時候不可能是深夜、雨天,但是做感知算法訓練的時候,需要極端天氣條件下的感知能力訓練,這怎么辦呢?我們就通過對采集的原始數(shù)據(jù)進行場景的衍生、泛化,改變里邊的天氣條件,交通流等要素,達到訓練感知算法的目的,這相當于是通過仿真場景提取一些圖片訓練感知能力。對于圖片質量要求很高的客戶,我們可以基于場景進行unreal渲染,使得場景的顆粒度更細,逼真度更高。

圖片 12.png

針對商用車的LKA需求,是不是專門用LKA算法進行車道線識別訓練?我們就可以給出不同種類關于車道線的訓練集,達到LKA算法對于不同車道線的精確識別。同時這里還有目標檢測、路牌識別、交通信號燈檢測,語義分割數(shù)據(jù)集,可以提供數(shù)據(jù)集去訓練相應的感知算法。

圖片 13.png

接下來談談基于仿真場景和X-in-Loop?技術體系怎么實現(xiàn)自動駕駛算法開發(fā)流程中的連續(xù)仿真測試,就是基于“水木靈境”場景工場,可以實現(xiàn)軟件在環(huán)、硬件在環(huán)、整車在環(huán)等仿真測試。

圖片 14.png

下面是給大家舉個例子,這里首先看到的是在蘇州高鐵新城基于阿里云部署的,“水母”云算力海量仿真平臺的技術架構,同時在這個云仿真平臺上建立了基于海量場景仿真的評測體系。 例如在這個云仿真平臺上跑100萬公里,幾十萬個場景,哪些場景PASS,哪些場景失效了,是非常巨大的工作量,但是在云仿真平臺根據(jù)我們設定的各種閾值和邊界條件,可以自動篩選出在這100萬公里中有多少是失效場景(紅色標注),有多少危險場景(黃色標注),針對危險和失效場景單獨進行算法迭代測試,同時我們可以提取這些極端場景、危險場景、失效場景,用于后續(xù)HIL和高級整車在環(huán)等測試。

圖片 15.png

第二個是針對單機運行算法的MIL/SIL仿真測試,左邊是一個感知+規(guī)控算法聯(lián)合仿真測試,右邊是一個L3級商用車規(guī)控算法在蘇州高鐵新城數(shù)字孿生場景里的SIL測試案例。我們結合ADAS和自動駕駛算法開發(fā)了這些測試用例,例如下面表格列出ACC的規(guī)則,我們可以基于算法規(guī)則來設定這些場景以及參數(shù)條件。

圖片 16.png

通過海量場景仿真或單機運行算法的MIL、HIL仿真以后,需要將軟件算法代碼植入到域控制器里面,對域控制器進行硬件在環(huán)的測試,對于電子電氣部門的工程師而言,HIL這個已經是非常成熟的技術手段,只是ADASHIL跟傳統(tǒng)的控制器HIL不一樣的是,需要上位機的場景仿真軟件,結合各種傳感器的模擬器,輸出傳感器信號給自動駕駛域控制器,激活它的ADAS或AD功能,來驗證智駕域控制器的功能邏輯、可靠性、安全性等。

圖片 17.png

進行域控制器階段的驗證以后,一定要進入到整車系統(tǒng)級的驗證階段,針對商用車車輛在環(huán)技術體系,包括PGVIL—基于封閉道路或試驗場的場地車輛在環(huán),VaHIL—高級整車在環(huán),和VTHILS—車輛環(huán)境交通在環(huán)系統(tǒng)。在PGVIL整個系統(tǒng)里,包括真實的車輛,真實的域控制器,虛擬的傳感器的信號通過上位機注入域控制器,在一個真實的封閉道路或試驗場進行測試。在上位機場景仿真軟件里面車輛模型是怎么獲得實車的信息?可以在實車安裝iTT慣導及數(shù)據(jù)采集設備,它實時給上位機輸出車輛速度以及位姿等信息。PGVIL車輛場地在環(huán)測試,可以滿足實際邊界負載下,進行整車功能安全、功能邏輯的測試驗證,可以測試整車的系統(tǒng)響應,同時可以進行傳感器信號故障注入研究控制策略的安全冗余等。

那接下來基于整車測試邊界,怎么把感知系統(tǒng)驗證也考慮進來,尤其是在惡劣氣象條件下?感知就像車的眼睛,怎么驗證呢?答案就是車輛環(huán)境交通在環(huán)試驗室,在一個可控的室內空間里,通過真實光照的模擬、真實雨霧環(huán)境的模擬、真實道路摩擦系數(shù)的模擬,真實的交通流,交通標識等元素,C-V2X通訊模擬,營造一個可控并且可變的復雜環(huán)境條件,來驗證單個感知系統(tǒng)、多傳感器融合結果,執(zhí)行機構響應,最后到實車的響應,我們把這個實驗室作為整車道路測試前的終極考核。

圖片 18.png

最后就是道路測試,首先是通過假人、假車,在一個封閉道路或試驗場上去做測試,跟剛才講的PGVIL場地在環(huán)類似,在這個試驗測試里面只是把虛擬注入的目標變成了交通參與者的真實模擬道具。另外就是開放道路測試,在一些智能網(wǎng)聯(lián)示范區(qū),進行實際道路的單車和車路協(xié)同功能測試。

圖片 19.png

通過虛擬仿真、整車仿真測試、道路測試,構建整個智能網(wǎng)聯(lián)商用車X-in-Loop?閉環(huán)技術開發(fā)體系,涵蓋了準入的三支柱法測試驗證體系。從海量場景仿真到極限場景驗證,進行功能安全和預期功能安全測試驗證,通過數(shù)據(jù)驅動,仿真賦能,進行快速迭代,縮短產品開發(fā)周期,加速產品商業(yè)落地。

謝謝大家。

責任編輯:王佳妍
后發(fā)表評論
信息咨詢
請輸入11位手機號

×
登錄
注冊
忘記密碼