2022年11月8日-10日，由中國(guó)汽車工業(yè)協(xié)會(huì)主辦的第12屆中國(guó)汽車論壇在上海嘉定舉辦。作為黨的“二十大”召開后的汽車行業(yè)首場(chǎng)盛會(huì)，本屆論壇以“聚力行穩(wěn) 蓄勢(shì)新程”為主題，共設(shè)置“1場(chǎng)閉門峰會(huì)+1個(gè)大會(huì)論壇+16個(gè)主題論壇”，以汽車產(chǎn)業(yè)的高質(zhì)量發(fā)展為主線，與行業(yè)精英一起貫徹新精神，研判新形勢(shì)，共商新舉措。其中，在11月10日下午舉辦的“主題論壇12：跨界融合，賦能自動(dòng)駕駛落地”上，IAE智行眾維®聯(lián)合創(chuàng)始人、CTO李月發(fā)表精彩演講。以下內(nèi)容為現(xiàn)場(chǎng)演講實(shí)錄：
大家好！
今天我給大家主要分享的是關(guān)于仿真測(cè)試以及仿真測(cè)試所需要的數(shù)據(jù)工作。
演講主要分為五個(gè)部分：
第一部分，IAE X-in-Loop®仿真測(cè)試技術(shù)體系。
第二部分，服務(wù)于仿真測(cè)試的場(chǎng)景工場(chǎng)。
第三部分，如何從道路采集獲得所需要的數(shù)據(jù)并進(jìn)行處理，到構(gòu)建場(chǎng)景工場(chǎng)。
第四部分和第五部分，分享基于場(chǎng)景工場(chǎng)、暨海量場(chǎng)景庫(kù)，能夠做的一些事兒：進(jìn)行仿真測(cè)試，或者是為機(jī)器學(xué)習(xí)提供訓(xùn)練的數(shù)據(jù)集。
一、IAE X-In-Loop®技術(shù)體系
先介紹一下仿真測(cè)試技術(shù)體系，把技術(shù)體系稱為X-In-Loop®，針對(duì)智能駕駛的“V字型”開發(fā)流程所貫穿的各個(gè)環(huán)節(jié)測(cè)試，比如在最初的概念設(shè)計(jì)階段，可能會(huì)已形成一些模型，基于模型做主客觀評(píng)價(jià)測(cè)試。主要做的工作是MIL或者DIL。
軟件形成之后，主要面向軟件測(cè)試，之后會(huì)做HIL仿真測(cè)試，在V流程的右邊階段做得更多的是Validation的工作，圍繞已經(jīng)成型的產(chǎn)品、控制器做硬件在環(huán)的測(cè)試，或者等到整車完成做整車在環(huán)測(cè)試，以及最后做性能相關(guān)的驗(yàn)證，在場(chǎng)地上完成相關(guān)的測(cè)試。所以，我們是圍繞各個(gè)環(huán)節(jié)在環(huán)測(cè)試的智能駕駛測(cè)試合作伙伴。
貫穿所有測(cè)試過(guò)程中的關(guān)鍵環(huán)節(jié)就是場(chǎng)景數(shù)據(jù)庫(kù)、暨場(chǎng)景工場(chǎng)，下面介紹一下場(chǎng)景工場(chǎng)生產(chǎn)場(chǎng)景的上下游體系。
在場(chǎng)景工場(chǎng)、場(chǎng)景庫(kù)的上游主要是生產(chǎn)工具鏈、方法論，以及完成場(chǎng)景庫(kù)生產(chǎn)的過(guò)程。今天在其他環(huán)節(jié)不占用大家更多時(shí)間了，主要圍繞場(chǎng)景生產(chǎn)的工具鏈到場(chǎng)景庫(kù)，以及場(chǎng)景庫(kù)如何服務(wù)于仿真測(cè)試、如何生成訓(xùn)練數(shù)據(jù)集，這個(gè)簡(jiǎn)單的鏈路跟大家展開介紹。
二、“水木靈境”場(chǎng)景工場(chǎng)（海量場(chǎng)景庫(kù)）
如何定義場(chǎng)景？對(duì)我們來(lái)說(shuō)，做智能駕駛相關(guān)的測(cè)試場(chǎng)景會(huì)拆解為靜態(tài)和動(dòng)態(tài)兩部分。
靜態(tài)場(chǎng)景：主要圍繞交通設(shè)施，比如說(shuō)周邊的建筑、路燈、植被等都屬于設(shè)施方面的東西。以及交通參與的主要要素，比如說(shuō)信號(hào)燈、標(biāo)牌、道路、車道線等。設(shè)施和要素主要會(huì)構(gòu)成靜態(tài)場(chǎng)景的部分，通過(guò)三維建模，結(jié)合邏輯信息建模，把它整合成靜態(tài)場(chǎng)景。
動(dòng)態(tài)場(chǎng)景：交通參與者，比如說(shuō)車輛、行人等參與交通動(dòng)態(tài)行為的目標(biāo)物，會(huì)定義他行駛的軌跡、觸發(fā)的事件。環(huán)境和天氣的條件也是構(gòu)成動(dòng)態(tài)場(chǎng)景的一部分。場(chǎng)景由靜態(tài)和動(dòng)態(tài)的組成部分共同構(gòu)成。
在場(chǎng)景工場(chǎng)中采用這樣的劃分，根據(jù)場(chǎng)景庫(kù)覆蓋的范圍，把場(chǎng)景分為三大類：
第一大類：“有跡可循”
參考真實(shí)的環(huán)境、真實(shí)道路采集來(lái)的數(shù)據(jù)，或者是依據(jù)真實(shí)道路上發(fā)生的事件數(shù)據(jù)重構(gòu)出來(lái)的，稱為有跡可循。
主要包括像真實(shí)基于地圖構(gòu)建的城市和高速數(shù)字孿生場(chǎng)景，也包括在實(shí)際道路測(cè)試中車輛采集回來(lái)的數(shù)據(jù)，把它通過(guò)數(shù)據(jù)格式的轉(zhuǎn)換形成自然駕駛場(chǎng)景。
還有事故場(chǎng)景，事故數(shù)據(jù)是發(fā)生事故之后，交警去現(xiàn)場(chǎng)勘探，把發(fā)生事故前一段時(shí)間的數(shù)據(jù)進(jìn)行虛擬重構(gòu)，這部分也可以把它做成檢驗(yàn)智能駕駛行為的場(chǎng)景，這部分是CIDAS中國(guó)數(shù)據(jù)庫(kù)。
第二大類：“有法可依”
主要是圍繞法規(guī)和標(biāo)準(zhǔn)構(gòu)建的功能場(chǎng)景，比如說(shuō)ADAS系列會(huì)有一系列Euro-NCAP、C-NCAP、ISO、GB等行業(yè)標(biāo)準(zhǔn)，依據(jù)標(biāo)準(zhǔn)構(gòu)建出來(lái)法規(guī)ADAS的測(cè)試用例和場(chǎng)景。針對(duì)車聯(lián)網(wǎng)、V2X也有一定的SAE行業(yè)標(biāo)準(zhǔn)，依據(jù)行業(yè)標(biāo)準(zhǔn)構(gòu)建了V2X的測(cè)試場(chǎng)景。還有根據(jù)交通規(guī)則行為和相關(guān)法規(guī)構(gòu)建交規(guī)場(chǎng)景。
第三大類：“有需可取”
這些場(chǎng)景大部分結(jié)合所測(cè)試對(duì)象的功能來(lái)進(jìn)行功能正向拆解，如結(jié)合SOTIF預(yù)期功能安全，會(huì)分析功能的局限性，以及可能帶來(lái)的危害性，充分結(jié)合被測(cè)對(duì)象進(jìn)行構(gòu)建的場(chǎng)景，把它歸到有需可取類。
以上是場(chǎng)景工場(chǎng)的大概情況，后面會(huì)給大家分享場(chǎng)景數(shù)據(jù)的實(shí)例和體現(xiàn)的形式。比如說(shuō)像數(shù)字孿生的場(chǎng)景，已構(gòu)建了國(guó)內(nèi)多個(gè)城市孿生的場(chǎng)景，和城市道路是一比一復(fù)現(xiàn)的。結(jié)合高精地圖的高級(jí)別智能駕駛算法，可以結(jié)合這些場(chǎng)景進(jìn)行測(cè)試。
還有EURO-NCAP這類結(jié)合ADAS的測(cè)試標(biāo)準(zhǔn)，測(cè)試標(biāo)準(zhǔn)里會(huì)有相應(yīng)的假人、假車，為了實(shí)現(xiàn)這種場(chǎng)景，也結(jié)合3D目標(biāo)物的特征進(jìn)行數(shù)字化建模。再有事故發(fā)生碰撞的場(chǎng)景，以及結(jié)合系統(tǒng)極限性SOTIF的場(chǎng)景。
這兩例測(cè)試場(chǎng)景分別是刮撞二輪車的CIDAS交通事故復(fù)現(xiàn)場(chǎng)景，以及決策系統(tǒng)局限、交互局限的SOTIF場(chǎng)景。
三、場(chǎng)景數(shù)據(jù)采集及預(yù)處理
前面所介紹的仿真場(chǎng)景數(shù)據(jù)里有一部分被稱為自然駕駛（仿真測(cè)試）場(chǎng)景，這些自然駕駛場(chǎng)景是怎么獲取的？這個(gè)涉及到我們的工具鏈和處理的過(guò)程。
介紹一下進(jìn)行自然駕駛場(chǎng)景采集所需要的工具鏈，從采集的終端、車載的終端設(shè)備，從傳感器到終端設(shè)備，再到中間數(shù)據(jù)的預(yù)處理、回傳的機(jī)制，到場(chǎng)景數(shù)據(jù)的處理，比如說(shuō)切片、清洗，最終才可以形成剛剛看到的這樣一個(gè)場(chǎng)景片段的數(shù)據(jù)。
這一環(huán)節(jié)涉及到配備iTT PLUS等車載數(shù)據(jù)采集終端設(shè)備去采集不同傳感器的數(shù)據(jù)。采回來(lái)的數(shù)據(jù)會(huì)有涉及到原始數(shù)據(jù)，這部分原始數(shù)據(jù)可以進(jìn)行標(biāo)注服務(wù)于算法的訓(xùn)練。采回來(lái)的還有傳感器，比如說(shuō)毫米波雷達(dá)、攝像頭、激光雷達(dá)融合后目標(biāo)的軌跡數(shù)據(jù)，這個(gè)軌跡數(shù)據(jù)就是我們構(gòu)建自然駕駛仿真場(chǎng)景中動(dòng)態(tài)場(chǎng)景的核心的部分。
通過(guò)數(shù)據(jù)采集，我們把采集回來(lái)的數(shù)據(jù)先回傳到我們數(shù)據(jù)中心，在數(shù)據(jù)中心進(jìn)行預(yù)處理，預(yù)再經(jīng)過(guò)IAE 自研的CRAB軟件做場(chǎng)景數(shù)據(jù)的深加工，直到生成我們所需要在仿真引擎中能夠直接運(yùn)行的場(chǎng)景數(shù)據(jù)。
采集的數(shù)據(jù)還需要做各種處理，比如，數(shù)據(jù)可能會(huì)是非常長(zhǎng)的，所以我們需要基于一些事件還有時(shí)間點(diǎn)去做一些切片工作，去對(duì)里面采回來(lái)的目標(biāo)做一些清理。再如，在正常采集的過(guò)程中，可能會(huì)發(fā)生目標(biāo)突變，它本來(lái)是前面一個(gè)ID，采集過(guò)程中變成另外一個(gè)，這種數(shù)據(jù)為了讓它能夠在仿真里面形成一個(gè)連續(xù)的軌跡，需要把它進(jìn)行合并或者刪除。完整工具鏈?zhǔn)欠?wù)于我們整個(gè)自然駕駛場(chǎng)景生產(chǎn)的過(guò)程，直至生成動(dòng)態(tài)場(chǎng)景文件，能夠直接通過(guò)仿真引擎來(lái)調(diào)用。
這是典型的自然駕駛場(chǎng)景的示例，大家可以看到左上角是真實(shí)采集的視頻的還原，大的范圍是我們仿真重構(gòu)出來(lái)的自然駕駛場(chǎng)景。
以上是場(chǎng)景工場(chǎng)的介紹以及我們場(chǎng)景構(gòu)建中的一個(gè)途徑、如何生產(chǎn)自然駕駛場(chǎng)景。而生產(chǎn)這些場(chǎng)景數(shù)據(jù)之后用它來(lái)做什么，也是我們需要解決的問題。第一個(gè)方面是服務(wù)于仿真測(cè)試。對(duì)于我們來(lái)講，仿真測(cè)試有一系列閉環(huán)，可以是MIL測(cè)試，可以是軟件在環(huán)SIL測(cè)試，也可以是硬件在環(huán)HIL測(cè)試，還可以是針對(duì)整車級(jí)別的整車在環(huán)測(cè)試，這些都是歸屬仿真測(cè)試大的范疇內(nèi)，我們的場(chǎng)景工場(chǎng)和海量場(chǎng)景庫(kù)將服務(wù)于以上各個(gè)環(huán)節(jié)的仿真測(cè)試。
四、今天著重介紹一下基于場(chǎng)景工場(chǎng)和海量場(chǎng)景庫(kù)來(lái)做SIL、針對(duì)軟件算法的大規(guī)模測(cè)試。
在軟件測(cè)試階段目標(biāo)是積累大量的虛擬里程來(lái)盡可能讓我們的算法覆蓋盡可能多的corner case，我們采用的手段就是海量場(chǎng)景仿真+自動(dòng)化測(cè)試。這個(gè)海量仿真需要有一個(gè)平臺(tái)來(lái)做支撐，我們使用的仿真平臺(tái)需要能夠整體管控我們仿真測(cè)試的全部節(jié)點(diǎn)，規(guī)劃整個(gè)仿真測(cè)試用例的使用，并且能夠具備仿真測(cè)試KPI的體系，從而在測(cè)試之后自動(dòng)化地去輸出評(píng)價(jià)的結(jié)果，這樣才能快速的完成軟件開發(fā)過(guò)程中的迭代。
IAE構(gòu)建了這樣一個(gè)“水母”云仿真平臺(tái)，將場(chǎng)景工場(chǎng)和自動(dòng)化仿真測(cè)試充分結(jié)合。
在“水母”云仿真平臺(tái)上可以對(duì)我們算法、場(chǎng)景、數(shù)據(jù)和模型，如剛剛看到的場(chǎng)景模型進(jìn)行管理，能夠結(jié)合我們需求進(jìn)行彈性調(diào)用。同時(shí)，我們的仿真計(jì)算節(jié)點(diǎn)并行布屬在這樣一個(gè)云平臺(tái)上，能夠通過(guò)自動(dòng)化的系統(tǒng)調(diào)用我們的仿真節(jié)點(diǎn)和算力，給每個(gè)仿真節(jié)點(diǎn)彈性分配仿真測(cè)試的任務(wù)，在完成仿真測(cè)試之后，可以自動(dòng)化地做數(shù)據(jù)的后處理，輸出我們用于評(píng)價(jià)的KPI指標(biāo)，并盡快把指標(biāo)反饋到我們測(cè)試指定的團(tuán)隊(duì)去。整個(gè)這樣的平臺(tái)通過(guò)這樣一個(gè)工作流的形式來(lái)結(jié)合起來(lái)，最終定義好需求。
這套仿真測(cè)評(píng)體系可以服務(wù)于兩個(gè)方面：服務(wù)于自動(dòng)駕駛研發(fā)測(cè)試、軟件和系統(tǒng)開發(fā)驗(yàn)證的全過(guò)程；同時(shí)，不僅可以服務(wù)于研發(fā)，也可以服務(wù)于監(jiān)管需要。
目前一些城市開始加速推進(jìn)并進(jìn)一步規(guī)范道路測(cè)試和示范應(yīng)用許可的發(fā)放，并將仿真測(cè)試用于測(cè)試評(píng)估。我們有幸參與了某個(gè)城市的相關(guān)工作，基于“水母”云仿真平臺(tái)，結(jié)合整個(gè)運(yùn)營(yíng)范圍區(qū)域的特征去搭建數(shù)字孿生仿真場(chǎng)景，并制定評(píng)測(cè)的方法，給想要申請(qǐng)?jiān)S可的企業(yè)提供這樣的測(cè)試服務(wù)，政府根據(jù)測(cè)試評(píng)估達(dá)到的結(jié)果，讓企業(yè)能夠申請(qǐng)這個(gè)許可。
結(jié)合地區(qū)城市道路特征搭建場(chǎng)景，并且基于仿真平臺(tái)來(lái)制定評(píng)測(cè)的方法，給出測(cè)評(píng)的指標(biāo)，幫助企業(yè)盡快實(shí)現(xiàn)許可的申請(qǐng)和落地。
對(duì)于測(cè)試示范區(qū)管理單位，這也將起到監(jiān)管和保障的作用。申請(qǐng)?jiān)S可的時(shí)候如果只是單純的道路測(cè)試能覆蓋的極限場(chǎng)景畢竟是少量的，我們通過(guò)仿真的形式結(jié)合當(dāng)?shù)貙?shí)際道路的特征，搭建極限場(chǎng)景來(lái)測(cè)評(píng)未來(lái)在這個(gè)區(qū)域運(yùn)行的車輛的安全性。
五、基于場(chǎng)景工場(chǎng)生成訓(xùn)練數(shù)據(jù)集。
剛剛我們看到的是場(chǎng)景工場(chǎng)應(yīng)用于仿真測(cè)試，我們的場(chǎng)景工場(chǎng)還可以服務(wù)于研發(fā)的更早期階段，就是算法訓(xùn)練。在算法訓(xùn)練的過(guò)程中需要大量的數(shù)據(jù)集，采用傳統(tǒng)的標(biāo)注數(shù)據(jù)集，對(duì)于數(shù)據(jù)集的采集和累積是代價(jià)非常高的事，每個(gè)車型采集回來(lái)的數(shù)據(jù)只能服務(wù)于這個(gè)車型，我們?cè)谛萝囆烷_發(fā)迭代過(guò)程中，需要有大量新的數(shù)據(jù)來(lái)服務(wù)。
通過(guò)仿真場(chǎng)景工場(chǎng)的形式就可以更加便捷、更加快速，并且能夠更加靈活地把我們建的場(chǎng)景數(shù)據(jù)生成數(shù)據(jù)集，去快速地服務(wù)于機(jī)器學(xué)習(xí)的過(guò)程。
對(duì)我們提出的挑戰(zhàn)是，我們?cè)诜抡孢^(guò)程當(dāng)中需要做更精細(xì)化的建模，以及需要通過(guò)專門的后處理調(diào)參的方式來(lái)優(yōu)化我們渲染引擎輸出的圖像的質(zhì)量，以期讓這個(gè)圖像更匹配真實(shí)道路采集的圖像。
我們可以覆蓋和提供的數(shù)據(jù)集包括這些類型，用于車道線檢測(cè)，用于動(dòng)態(tài)目標(biāo)物檢測(cè)，交通信號(hào)燈，交通標(biāo)識(shí)識(shí)別類的數(shù)據(jù)集，同時(shí)借助渲染的能力可以提供語(yǔ)義分割所需要的數(shù)據(jù)集。這樣的數(shù)據(jù)集具備四個(gè)大的特征：
1、數(shù)據(jù)集生產(chǎn)的鏈條完全自動(dòng)化。在場(chǎng)景工場(chǎng)整個(gè)數(shù)據(jù)構(gòu)成場(chǎng)景之后，想要輸出圖片的數(shù)據(jù)以及它所需要的標(biāo)注信息，我們是可以完全采用自動(dòng)化的鏈條實(shí)現(xiàn)。并不需要由人工進(jìn)行任何的標(biāo)注。我們整個(gè)仿真系統(tǒng)里的真值可以自動(dòng)輸出。
2、場(chǎng)景和模型可以高度靈活適配各個(gè)車型，甚至不同傳感器的類型。能夠通過(guò)模型的靈活性提高場(chǎng)景的靈活性和復(fù)用性。
3、構(gòu)建的場(chǎng)景庫(kù)里具備中國(guó)交通特色的場(chǎng)景，也包括如SOTIF場(chǎng)景等相關(guān)的模型，比如說(shuō)裝載樹木的卡車之類特殊化的模型。在真實(shí)道路采集的時(shí)候，很難出現(xiàn)這樣實(shí)例，在仿真里面可以更容易地構(gòu)建這樣的情境。
4、可以覆蓋不同的天氣、光照以及遮擋的條件，讓整個(gè)數(shù)據(jù)集更加多元、更加豐富，具有更高的覆蓋度。
以上就是我今天介紹的內(nèi)容，謝謝大家！
（注：本文根據(jù)現(xiàn)場(chǎng)速記整理，未經(jīng)演講嘉賓審閱）
