近日，黑芝麻智能聯合智猩猩策劃的車路云一體化專場公開課順利完結。黑芝麻智能項目經理楊洋博士以《本土車規級算力平臺的車路云一體化路側解決方案與應用》為主題，從五個層面進行了全面深入的講解。本文是黑芝麻智能楊洋的主講實錄整理。

楊洋：大家好，我叫楊洋，來自黑芝麻智能的車路運營業務部門，非常感謝大家來參加此次智猩猩公開課黑芝麻智能車路云一體化專場。也感謝智猩猩提供的平臺，很榮幸有機會能夠給大家帶來這次分享，希望能在交流中向大家多多學習。
我今天分享的主題是《本土車規級算力平臺的車路云一體化路側解決方案與應用》。

先簡單介紹下我們公司。黑芝麻智能成立于2016年，并于今年8月8日在港交所主板掛牌上市。黑芝麻智能致力于在智駕、車路協同、AVP主動安全等領域，提供基于芯片的全棧解決方案。車路協同是黑芝麻智能著力的九大業務方向之一。

今天的講解，我將從方案背景、方案介紹、核心技術、行業應用及落地案例5個方面，為大家介紹黑芝麻智能的車路云一體化路側方案和應用。

首先介紹下車路云一體化方案的背景和來源，包括車路云一體化當前面臨的痛點問題，以及我們做這件事的目標是什么。

2009年被普遍認為是中國車聯網發展元年，雖然依托技術發展來實現產業布局的腳步一直沒有停止，但在行業復用、自主閉環、應用落地上仍然面臨著很多挑戰。比如由于國產化低，自主知識產權的芯片比較少，在數據安全層面，尤其是智慧交通領域，高度依賴進口芯片導致數據安全風險極高。

在政策行業的刺激下，網聯、車路協同項目以井噴的態勢爆發，各地建設投入的積極性很高。但夸張點講，針對某一特定的場景進行0～1的開發，在某些程度上會導致軟硬件產品，尤其是硬件產品在行業的復用性非常低。

目前網聯車的滲透率還比較低，導致產生了一種有建設無應用的現狀。我們看到很多城市的確是有網聯車的建設布局，比如說北上廣一線城市以及武漢、成都等省會城市，但是當下大家普遍的感知是，示范項目全部是區域性建設，覆蓋有限，加上網聯車的總體占比不高，導致大家對建設成果的直觀感知仍然比較少。同時，由于復用難，導致行業應用效果比較弱，公眾感知方式比較局限。這些都是當前行業面臨的困境，或者說從業者的一些疑惑。

對于我們來說有價值的事情，就是理清行業痛點問題并解決它。

以智能交通場景為例，面臨著交通時空資源利用不充分、交通管控科技化手段不足、交通流動態誘導能力欠缺，以及普遍缺乏持續的優化運營4大痛點。

針對這些痛點，黑芝麻智能利用交通管控全域感知解決方案，使車、路、云、控實時交互，實現超視距事件感知、實時流量監測和實時交通誘導，從而達成及時發現、及時預防、及時報警、及時處置4大目標。

基于上述背景，黑芝麻智能提供了一套基于邊緣算力平臺的車路協同路側解決方案。

從建設的角度來看，路側方案可以分為平臺層、網絡層和道路層三個層面。目前黑芝麻智能著力建設的方向偏向于道路層。

我們的建設思路首先是立足7個主要的應用場景，包括城市物流配送、場外無人環線物流、大規模互聯互通、城市出行服務、RoboTaxi商業運營、城市共享觀光以及廠區物流配送；其次是面向4類重點需求，比如交通安全、交通效率、交通服務以及輔助自動駕駛。

路側方案總體邏輯架構如上圖所示，利用終端感知能力，融合5G、車路協同、多元感知融合、高精定位、邊緣計算、數據處理等技術能力，把結構化的數據或數據流推向平臺層，實現基礎層和應用層的解耦，這樣使得場景多元化，同時能夠更好地滿足不同場景的差異化服務需求。

下面我將結合三類主要的場景來為大家介紹車路協同路側方案框架。

第一類是交通管控全域感知解決方案。路側感知設備以電警卡口、毫米波雷達為主，感知數據通過路測MEC的融合計算推送到云端平臺。然后平臺將數據與地圖引擎、數據引擎進行融合，實現道路交通主體的動態數字孿生。車端則通過4G/5G Uu獲取網絡播報信息。

該方案的主要應用于交管業務，比如智能信控、事故預防，交通組織優化、可變車道控制，以及違法打擊等。根據業務的具體需求，方案覆蓋方式可以分為全息路口和全息路網。

第二類是面向L4自動駕駛、網聯示范解決方案。該方案在路側增加了激光雷達來提供點云數據，同時加上RSU；在車載端，通過OBU和5G模塊接收信號，實現V2X通信。這個方案主要面向車路協同、車車協同，同時也可以滿足交管業務的需求。

第三類是高速全天候通行系統解決方案。高速場景相對來說比較簡單，該方案的主要意義在于為高速場景下的交通參與者提供超視距的感知能力。

感知設備主要是電警卡口和毫米波雷達，通過路側MEC的融合計算，實現道路交通主體的動態數字孿生。在與車端的交互上，也是通過RSU、OBU、5G來實現車路協同、車車協同，提高特殊天氣下的高速場景通過能力。

硬件設備的點位分布的密度，可以根據實際的高速路況來部署。比如路況視野非常好的情況下，可以用1000米的點位距離，如果遇到事故多發路段、隧道等場景，可以增大點位密度，比如200米的點位間距，同時也可以根據實際的投入成本來做考量。

一般來說路口的硬件配置類型是差不多的，主要包括桿件、電柜、電箱、感知設備（相機、雷達、激光雷達）、交換機、MEC、RSU、線束等，也可以根據具體的場景需求進行增減。

但外場的部署方案一般來說通用性不強，取決于具體的點位特征，需要考慮路口形態（十字路口、丁字路口、L型路口、Y型路口等）、車道寬度、車道數、綠化帶位置以及桿件位置等，這些因素對外場的部署影響會比較大。

以常見的十字路口為例，相機一般布置在電警桿上，朝向路口照射，相機的焦距選型跟干道路進路口的停止線的距離對應。比如電警桿到停止線的距離如果是25米到30米的范圍，從實際經驗來看一般會采用16毫米焦距的相機，這樣可以獲得最佳的視場，有需要的話也可以用魚眼相機實現盲區的補盲。如果路口中間出現盲區，可以利用對向的車道反向電警來補盲。

雷達的部署要看具體情況，如果隔離帶較矮且不形成障礙，一般放置在電警桿上，并且盡量靠向路口的中央。如果隔離帶較高且形成了障礙，雷達可以放置在進口道對向的紅綠燈燈桿上。

路段的部署相對來說比較簡單，如果桿距較小的話，可以采用追打的方式，也比較經濟。如果桿距較大，可以用背對背互相補充的方式，來實現全路段的覆蓋。

我們在核心產品MEC的開發中，結合方案經驗和實際的項目經驗，也積極做了一些能力的提升和規格參數的約束，以指標效果為目標，推動路側算力需求的合理化。

比如提高MEC的視頻結構化處理能力，至少單算力芯片4路900萬像素的圖像達到25Hz的檢測頻率。其次在外場布置方向也做了一些努力，比如合理規劃檢測區域，充分發揮感知設備的覆蓋能力，盡可能減少數設備數量，杜絕設備堆疊和小鳥桿的情況出現。

還有就是優化算法，降低算力的占用，在實際部署時也會兼顧應用和拓展需求，預留算力冗余，但一般會控制在50Tops以下。

在硬件設計方面，我們兼顧了一些工況和耐久性的考量。比如考慮到中國南北方季節氣溫差異大的情況，我們將設備的允許工作溫度做到了-40~75攝氏度。

目前黑芝麻智能車路云一體化路側解決方案可以輸出63項指標、200多項參數，基本覆蓋了目標檢測、軌跡跟蹤、交通參數檢測、交通事件檢測4大類的絕大部分場景。

同時我們在研發和參與項目的過程中，也積極參與路測算法指標的相關標準編制，著力推動行業指標的發展和完善。

Best Road是黑芝麻智能面向智慧城市、智慧公路等多場景打造的路側邊緣計算解決方案，其能力和使命是完善路側感知平臺，為智慧公路、智慧城市充分賦能。

Best Road依托黑芝麻智能自有的核心技術，包括強大的實時計算芯片，以及搭載自研芯片的邊緣計算單元MEC（我們叫它KOOSENS-1000B）、多場景圖像處理能力和自研感知算法。

A1000芯片是本土首個符合所有車規認證，是目前唯一能量產的單芯片。A1000支持行泊一體與控制器的芯片平臺，還是目前國內最成熟、量產車企最多的自動駕駛芯片。A1000集成了CPU、GPU、ISP、DSP和NPU等多個功能模塊，能滿足多種計算功能需求。

上圖所示的黑盒子，是黑芝麻智能自研的一款MEC KOOSENS-1000B，搭載A1000芯片，整機物理規格小巧，適用的工況條件很寬，并且通過了車規級認證，整機的國產化率不低于90%。在能力方面，MEC KOOSENS-1000B可以并行解析4路900萬視頻，幀率不小于25Hz，同時它兼容性很強，支持2*128線機械式或4*80線半固態激光雷達的點云數據前融合解析。

MEC KOOSENS-1000B的感知精度也比較高，可以實現車道級定位跟蹤，位置誤差小于50厘米，方向角誤差一般不超過5度，目標識別率、軌跡準確率以及事件準確率都大于95%。延時相對來說也比較低，感知檢測時間小于300毫秒，V2X通訊時延小于50毫秒，算力占用率一般小于50%，同時我們也預留了適當的算力冗余，為未來智能信控、大模型等邊緣計算應用預留了一定的空間。

在視覺圖像感知方面，A1000本身具備強大的圖像處理能力，還把傳統的ISP技術和深度學習進行融合。深度學習的能力就得益于A1000芯片搭載的NPU本身功耗低、延時低、計算能力強大、數據吞吐帶寬高，加上黑芝麻智能自研算法的加持，可以使視覺感知變得更聰明、更智能。

前面提到黑芝麻智能路側解決方案可以輸出的63項指標、200多項參數。路側算法包含基礎感知、目標檢測、軌跡跟蹤、交通參數、交通事件等絕大部分場景。所有大類里面的細分case，我們也在不斷地豐富和完善。除此之外還覆蓋了交通態勢的研判，可以滿足L4級自動駕駛、智能網聯、智慧交管、城市管理、智慧高速等行業的應用需求。

另外，通過黑芝麻智能自研的融合感知算法，可以實現視頻質量的自我診斷，比如掉線、黑屏、模糊、遮擋、亮度異常，以及條紋異物遮擋的識別等，可以及時發現視頻的質量問題并上報，減少設備不work的時間，避免可能出現關鍵數據采集不到的情況。

黑芝麻智能也非常重視技術的積累，比如數據沉淀，純研發投入在數據采信和數據閉環的占比上也是非常高的。

我們將端側大量采集的樣本數據，給到算力中心，對數據進行預處理標注，然后給到算法訓練，再回流到端側去再應用，之后再進行循環，從而形成一個完整的閉環。因此，我們數據庫的場景類型也比較豐富，并且對于一些Corner Case的關注相對來說也是比較全面的。

大家可以看下上圖展示的基礎應用場景，我這里放的不全。可以看到基礎應用場景的覆蓋已經非常全面了，基本上cover了現在常見的場景需求。這里寫的是移動端、車端的發布，在平臺端也是一樣的。

下面來看幾個具體場景的例子。

第一個場景是交管全息路口/路網，復用了路側的電警/卡口攝像機，圖像或視頻流在邊緣端MEC上進行數據融合處理，實現路口路網的全息展示。

我們在MEC上部署了大概18項交通參數的檢測算法，19項交通事件及違法行為的檢測算法，還有像人機非的鬼探頭、視界三角盲區等情況。此外，還可以通過軌跡沖突的預測進行事故預警，降低事故率。

在此基礎上，我們也協同一些生態廠商來實現信控的前端自適應，比如動態綠波速度、可變情報板控制等，在緩解交通擁堵和交通流的主動管控上都起到了非常好的效果。

軌軌跡預測和沖突點報警是一種預防性的功能措施，也是我們之前比較關注的。該功能根據交通參與者運行的狀態數據，預測其未來一定距離、時間內的運行軌跡，如果預測結果中出現沖突點，就會向交通參與者或平臺發布預警，提示減速慢行。該功能可以把視距離三角形、鬼探頭這樣的突然入侵行為造成的交通事故率，下降50%左右。

另外一個場景是非燈控路口的事故預防，針對平交路鬼探頭沖進主路和彎道視距三角形盲區兩種情況，和軌跡預測沖突點的預警相類似，也是通過車輛信息的軌跡檢測，對交通沖突進行預警。發布端可以通過可變情報板和揚聲器對交通參與者進行發布，從而起到警醒和降低事故率的作用。

AI事故還原功能基于全息路口，可以實現實時事故上報、錄像回看、數據自動標注/提取、三維孿生還原、自動繪制現場等功能，一般推送到移動端或者交管平臺。該功能有希望將平均事故上報的時間降低至5秒，平均事故處置時間降低50%。

第五個實踐場景是全息停車場APP，通過全息感知識別目標經緯度，車位信息實時檢測，實現自動駕駛車的一鍵泊車和自主接駕，可以解決地庫尋車難、停車效率低的問題。大家日常感知比較深的就是在地庫里，人車混流、急轉彎、盲區較多，聲音也比較嘈雜，情況復雜，該功能可以在一定程度上可以減少這方面的潛在風險。

第六個場景是全息高速，也是一個非常好的應用場景，對車路協同也是有迫切需求的場景。

高速上不僅車速快，而且路況多變，比如因為車速快導致視距要求不足，轉彎路段的視覺盲區，隧道出入口光線的突然變化，還有上下坡視覺盲區，以及極端天氣的影響等。

在上述場景下，車路協同可以提供超視距解決方案，且理論上沒有距離限制，可以對前方無限制距離的路況進行實時播報。一方面提高主動安全警示作用，降低事故率，另一方面可以給交通參與者提供超視距之外的路況信息，讓駕駛者更有信心，一定程度上降低因車速引起的局部堵塞情況。

匝道分流、合流是事故高發區域。開車的朋友都知道，匝道是一個有大量并道事件發生的地方，尤其是合流的情況，即便少部分的車道比較寬裕，會預留緩沖的交通線，或者是直接預留一個車道，但是對于主、輔路的車輛，尤其是主路的車輛來說，一般車速還是比較快的，很難觀察到對方。該解決方案可以通過軌跡檢測，對潛在的交通沖突進行預警，通過情報板，或者警示燈對車輛、人員進行預警播報，從而將潛在風險降到最低。

下面給大家分享一些我們做的落地案例。

這是我們在某地的一個常規十字路口落地案例，有60個路口的體量。這里展示的一個是比較典型的十字路口，我們采用4相機+4雷達的方案，對路口進行實時的交通參數和實時事件的檢測。

從客戶平臺端展示的效果可以看到，交通參與者的軌跡以及信息展示的效果還是非常不錯的。視頻后半部分大家可以看到一個異常事件，旁邊的播報板會對動態的實時事件進行滾動播報。

這個視頻展示的是我們在某地的一個高架橋下的路口案例。大家可以看到畫面標注的情況，以及人機非的檢測效果。

這是客戶平臺上呈現的全息展示效果，包括交通流量趨勢、實時入口狀態信息，都可以在平臺上看到，右下角可以看到滾動的事件播報。

這個視頻展示的是我們在某地的機械式激光雷達加攝像機的全息入口案例。大家從視頻中可以看到包括行人、機動車和非機動車的檢測效果。

今年7月份，黑芝麻智能交付了一個全息匝道純視覺方案，首次實現了開放道路條件下的自動駕駛。這是一個純視覺方案，車端完全采用路側數據進行合流變道的決策。

這是一個沒有電警桿，我們為了利舊，在信號燈桿上部署槍球一體機的方案。從視頻中可以看到，它的視場是對著對向進口道的，不是對著對向的出入口道。即便是這樣一個妥協的方案，實際的3D入口效果可以看到也是不錯的。

這是一個高速場景下，使用龍門架卡口相機利舊感知方案，融合了我們自己采集的高精地圖，大家可以通過視頻看下最終效果。

好的，以上就是我今天分享的全部內容，謝謝大家。