由中國汽車技術研究中心有限公司、中國汽車工程學會、中國汽車工業協會、中國汽車報社聯合主辦，天津經濟技術開發區管理委員會特別支持，日本汽車工業協會、德國汽車工業協會聯合協辦的第十八屆中國汽車產業發展（泰達）國際論壇（簡稱“泰達汽車論壇”）于2022年9月2-4日在天津市濱海新區召開。本屆論壇以“強信念 穩發展 開新局”為年度主題，邀請重磅嘉賓展開深入研討。

在9月3日“數智論壇：探索智能時代前瞻技術和創新產品的實現路徑”中，北京工業大學教授、中國人工智能學會副秘書長馬楠發表了題為“人車路協同無人駕駛智能交互認知”的演講。 以下為演講實錄：

尊敬的各位專家，大家下午好，很榮幸接到邀請參加中國汽車產業發展（泰達）國際論壇的數智論壇，探索智能時代前瞻技術和創新產品的實踐路徑。

今天我向大家分享的主題是“人車路協同無人駕駛智能交互認知”。

我來自北京工業大學，團隊長期以來跟隨李德毅院士，從事無人駕駛智能交互技術的理論研究、技術研發和產業落地，先后獲得了國家自然科學基金、北京市基金等相關項目的支持，并且與北汽集團等企業進行合作，進行產業落地。團隊成果獲得了中國電子學會技術發明的二等獎，多次獲得國內外的無人駕駛比賽獎項，通過這些獎項來鍛煉團隊。

我們團隊長期得到從高校到企業到國家基金委、北京市科委、北京市基金委的支持，開展各項工作。團隊在近十年的發展過程中，先后開發了面向乘用車的智能交互系統，面向巴士的智能交互系統，及面向特種車輛的智能交互系統，今天將從以下四個方面進行匯報：

首先，研究人車路協同無人駕駛交互認知的意義。我們首先提個問題，在無人駕駛智能汽車發展過程中，我們多關注感知、規劃和決策，那么在無人駕駛過程中，駕駛員與環境、行人、周邊車輛的交互認知去哪里了呢？駕駛員的經驗和臨場處置的能力又有誰來進行替代呢？智能交互就是通過跨媒體感知、機器學習和認知計算等技術，構建與實體世界統一的智能表達與學習方法，增強機器的智能化呈現，促進人機共融。交互是人類社會形成共同認知的基礎，那么智能交互就是人機行為協同的重要保障。

我們來看一下國際汽車工程師學會SAE的J3016標準。自動駕駛從駕駛操作、周邊監控、復雜情況下動態駕駛任務的執行者、系統支持的路況和駕駛模式等劃分為L0-L5等6個等級，L1級、L2級需要人類駕駛員監督駕駛環境，而L3-L5級則是自動駕駛系統掌控駕駛。

我們來看一看，在J3016標準中，從L2-L3級的轉化是明確、可度量的，但是這個標準有沒有涉及到作為替代駕駛員的自動駕駛儀所具備的任何交互認知的能力呢？

2020年3月，國家部委發布了《智能汽車創新發展戰略》，在突破關鍵基礎技術中，就重點闡述了要實現人機交互及人機共駕、車路交互等前瞻性的技術研發。針對感知元多、數據異構、控制通訊架構不統一、語義多樣、駕駛環境復雜等環境，無人駕駛應該如何去執行呢？

現實情況是我們往往對無人駕駛車的行為不清楚，對它的決策不理解，從而造成人車協同不一致。我們希望通過智能交互技術，使無人駕駛車更懂得人情世故，能交互、會學習、可信任。人工智能是無人駕駛的核心技術，自主駕駛+智能交互，使無人駕駛車成為可交互的輪式機器人。

第二點，人車路協同無人駕駛交互認知組成及基礎架構。

無人車與人進行多種交互。從物理空間的角度可分為車內交互、遠程云端交互和車外交互，根據無人駕駛車交互認知對象的不同，可以分為車與人的交互、車與車的交互，以及車與環境之間的交互。我們團隊長期聚焦感知交互，重點研究面向無人車感知數據跨模態融合的交互架構；關注人機交互，重點研究基于自適應可靠控制的人機交互方法；關注環境交互，重點研究基于經驗知識的跨媒體環境理解交互技術。

下面我向大家匯報團隊在無人駕駛交互認知中的研究和應用。首先，如何在云端更好地管理無人駕駛各種工況的數據。我們團隊在2018年北京國際車展，在順義水上公園和北汽集團合作，開發了基于云端數據管理的無人駕駛智能交互系統，對無人駕駛車輛進行運營的監控，包括智能約車ROBOTAXI等服務的運營演示，實時回傳的速率在100毫秒以內，當時應用在北汽福田、歐馬可電動車以及相關類型的無人駕駛車上。

我們開發了移動終端無人駕駛智能交互系統，繼而也開發了無人駕駛園區交互式的監控系統來監控園區無人駕駛車輛的運營狀況。團隊開發的無人駕駛智能交互應用項目可以分別應用在不同場景。

我們團隊還關注了在信息嵌定情況下如何更好地感知數據，提出了多視角、多模態數據獲取與處理在交互認知中的應用，并且將文章發表到了《中國科學》等相關刊物上。

我們團隊與清華大學合作，長期開展圖象與點云數據的信息融合。并且解決觸突消解問題，重點和難點就是如何進行統一的表征，實現語義鴻溝的解決。
在這里，2D的圖象數據和3D的點云數據模態異構，通過虛擬點云去實現它們之間的匹配，從而更好實現信息的融合和觸突的消解。

我們團隊還將該技術深入應用，比如針對于復雜的室內場景、動態環境的感知，大家看到的這個是基于樓梯區域的識別，包括預處理點云信息、區域分割、提取特征、判斷樓梯區域。這是實現激光點云地圖和視覺點云地圖更新，并獲取實時定位信息的數據方案。

為了更好實現信息感知與智能交互，團隊開發了基于時空特征的連續手勢識別及在特定場景中的應用，主要面對高動態、強對抗、不確定任務開發了這樣一套手勢識別的人機交互指令系統。針對21種手勢進行識別，識別率均在90%以上。高動態、強對抗主要就是時效性的問題，我們要保證它的時間在1秒以內。目前手勢識別效率都是在95%以上，并且采用時空卷積神經網絡來提取高階語義特征，可以在交警手勢識別上應用和實現。

下面介紹一下車體語言，基于環境之間的交互，我們知道無人車要行駛在馬路上，要跟周邊的環境進行不斷的交互，包括我們的道路信息、車道線檢測以及我們和前車之間的車距和角度檢測，這里涉及到的關鍵技術包括車輛檢測、多目標跟蹤、相機坐標變化等等。

我們團隊設計了車體語言及環境交互，實現我們的路徑設置，并且使用在線去調整PID參數，實現智能車的車道跟隨控制。此論文也進行了公開發表。我們采用自適應模糊PID進行無人駕駛軌跡跟隨任務，實現逆向車輛超車并道、取線等多種工況的駕駛車路協同交互認知。

在這里非常感謝中汽中心等組織方給我們團隊提供鍛煉的機會。各種工況都是模擬實際的無人駕駛工況。通過數據感知到決策控制到仿真平臺的輸入，我們去實現無人駕駛的穩定操控。

我們團隊近年來也在思考如何將無人駕駛智能交互技術的科研成果轉變成人才培養的一個一個生動教學案例，所以第四點向大家匯報的就是智能交互技術產學研建設。我們團隊圍繞著新形態教材、實踐教學案例及教學載體、虛擬仿真實踐平臺建立了一系列的新課程。

我們在2018年開始撰寫《智能交互技術與應用》教材，并于2019年出版。同時在中國大學MOOC開設智能交互技術的在線課程，目前已經開課第六輪。

我們還開設了智能交互技術的實踐課程，并且建設了教學載體。這樣一系列智能交互的小車，可以實現輪式機器人智能交互實戰，基于目標檢測與定位的智能交互訓練、智能語音交互訓練、人體手勢識別以及三維的人臉識別等系列教學案例。在這里也希望跟各個學校的老師們共同研討和合作課程建設。

基于上述教學內容，我們就在思考，尤其疫情到來的時候，我們同學不能到課堂上課，如何更好地讓同學們進行實踐教學，隨時隨地都可以進行實操，我們開發了虛擬仿真的實踐教學平臺，并且已經上線在中國大學MOOC，可以讓同學們通過虛擬仿真軟件，將自己編寫的程序去控制網上的虛擬小車，并且通過移動端控制我們的虛擬交互智能小車。團隊還開發了其他新型態教材，比如《人工智能英語入門》，今年圍繞著無人駕駛、智能交互云端的數據庫系統，撰寫并出版了《數據庫系統智能應用》教材。

在這里衷心感謝國家和北京市自然科學基金委等單位支持，感謝李德毅院士的長期指導，感謝我的團隊，謝謝大家！