你的位置:首頁 > 互連技術(shù) > 正文

黑芝麻智能端到端算法參考模型公布,一文了解技術(shù)亮點(diǎn)

發(fā)布時(shí)間:2024-12-05 責(zé)任編輯:lina

【導(dǎo)讀】作為智能汽車計(jì)算芯片的引領(lǐng)者,黑芝麻智能從成立之初就意識(shí)到了軟硬一體的重要性,在開發(fā)芯片的同時(shí)也組建團(tuán)隊(duì)對(duì)智駕算法進(jìn)行研究,保證產(chǎn)品能夠滿足當(dāng)下和未來數(shù)年的算法發(fā)展需求。


最近一兩年,"端到端"是自動(dòng)駕駛領(lǐng)域最熱門的話題,不管是整車企業(yè)還是自動(dòng)駕駛公司,開發(fā)布會(huì)幾乎言必提"端到端",整個(gè)行業(yè)進(jìn)一步擁抱AI技術(shù)。

自動(dòng)駕駛系統(tǒng)是一個(gè)軟、硬件高度耦合的系統(tǒng),當(dāng)軟件算法跨入端到端的時(shí)代,如何在不同算力的芯片上都能夠發(fā)揮出足夠好的性能?

作為智能汽車計(jì)算芯片的引領(lǐng)者,黑芝麻智能從成立之初就意識(shí)到了軟硬一體的重要性,在開發(fā)芯片的同時(shí)也組建團(tuán)隊(duì)對(duì)智駕算法進(jìn)行研究,保證產(chǎn)品能夠滿足當(dāng)下和未來數(shù)年的算法發(fā)展需求。

黑芝麻智能計(jì)劃推出支持華山及武當(dāng)系列芯片的端到端算法參考方案。該方案采用One Model架構(gòu),并在決策規(guī)劃單元引入了VLM視覺語言大模型和PRR行車規(guī)則的概率化表征子模塊,進(jìn)一步提升了智駕系統(tǒng)的決策規(guī)劃能力。

該方案分為標(biāo)準(zhǔn)版和高階版兩個(gè)版本。前者在單顆武當(dāng)C1200家族中算力平臺(tái)上即可部署,而后者可在即將推出的華山A2000家族中發(fā)揮全部實(shí)力。

一、采用One Model架構(gòu) 最大化信息傳遞

現(xiàn)階段量產(chǎn)的端到端系統(tǒng),相當(dāng)一部分采用了分段式架構(gòu),即將端到端系統(tǒng)分成幾個(gè)不同的模塊級(jí)聯(lián)而成。雖然這些模塊也使用AI模型進(jìn)行工作,但各模塊之間仍存在人為定義的接口來傳輸數(shù)據(jù),這就必然導(dǎo)致有一定的信息損失,加上不同模塊經(jīng)常采用獨(dú)立訓(xùn)練的模式,其效果并非全局最優(yōu)。

黑芝麻智能的端到端智駕系統(tǒng),一步到位采用了One Model的架構(gòu)。一端可輸入攝像頭、激光雷達(dá)、4D毫米波雷達(dá)、導(dǎo)航地圖等信息,另一端直接輸出駕駛決策所需要的信息,即本車的預(yù)期軌跡。


端到端的總體架構(gòu)


具體到模型內(nèi)部,其可以分為BEV編碼器和決策(軌跡預(yù)測(cè))兩個(gè)神經(jīng)網(wǎng)絡(luò)單元。

BEV編碼的工作過程中,車外攝像頭或 激光雷達(dá)、4D 毫米波雷達(dá)等各類傳感器的數(shù)據(jù)進(jìn)入 ResNet 和 FPN 等主干網(wǎng)絡(luò),提取并融合多層特征,生成多尺度特征金字塔。經(jīng)過幾何變換,特征圖對(duì)齊成俯視視角(BEV),實(shí)現(xiàn)統(tǒng)一的空間表示。

隨后,系統(tǒng)通過多尺度時(shí)序聚合將當(dāng)前與歷史 BEV特征融合,減少噪聲干擾,增強(qiáng)動(dòng)態(tài)物體感知精度和系統(tǒng)魯棒性,最終生成特征圖(Feature Maps)傳遞至決策單元,用于生成車輛的預(yù)期行駛軌跡。

BEV和決策兩個(gè)神經(jīng)網(wǎng)絡(luò)單元之間傳遞的是特征圖(Feature Maps)。由于這些基礎(chǔ)特征圖沒有人為定義的接口和處理過程,所以信息可以更為原始和完整地傳遞,以便于網(wǎng)絡(luò)進(jìn)行優(yōu)化和決策。

與此同時(shí),用Feature Maps將兩個(gè)單元進(jìn)行連接,還可以以back-propagation反向傳播的方式——即通過計(jì)算最終輸出的軌跡與實(shí)際目標(biāo)之間的誤差,然后將該誤差反向傳播到?jīng)Q策和BEV單元——來進(jìn)行兩個(gè)神經(jīng)網(wǎng)絡(luò)單元的聯(lián)合訓(xùn)練和參數(shù)調(diào)優(yōu)。

通過前面的分析可以看出,黑芝麻智能的One Model架構(gòu)既解決了多模塊之間可能存在的信息傳遞損耗問題,又實(shí)現(xiàn)了感知和決策單元的聯(lián)合訓(xùn)練,實(shí)際效果會(huì)更佳優(yōu)秀。

二、決策單元引入多源輸入 提升軌跡預(yù)測(cè)準(zhǔn)確性

在此基礎(chǔ)之上,黑芝麻智能團(tuán)隊(duì)還更進(jìn)一步,通過引入VLM(視覺語言大模型)和規(guī)則的概率化表征(Probabilistic Representation of Rules,以下簡(jiǎn)稱 PRR)兩個(gè)模塊,來進(jìn)一步提升端到端系統(tǒng)決策的準(zhǔn)確性和靈活性。

VLM 模型基于開源 VLM 模型改進(jìn)而來,該模型可同時(shí)接收?qǐng)D像和語言輸入信息(比如用戶的導(dǎo)航指令),然后通過 Transformer 結(jié)構(gòu)中的交叉注意力機(jī)制將視覺和語言兩種模態(tài)的信息相互關(guān)聯(lián),從而讓模型更深層地理解當(dāng)前的場(chǎng)景,并以符號(hào)特征的形式,將對(duì)于場(chǎng)景的理解輸入到?jīng)Q策單元中。

例如,當(dāng)系統(tǒng)識(shí)別到行人在斑馬線上移動(dòng)的視覺信息,VLM 可以通過語言規(guī)則的匹配,理解這個(gè)場(chǎng)景是"行人在過馬路",并且知道此時(shí)應(yīng)該停車或者減速——將這種信息傳遞給軌跡預(yù)測(cè)模塊,顯然能夠幫助其做出更加正確的駕駛決策。

除了有 VLM 子模塊的幫助,決策單元還有行車規(guī)則的概率化表征模塊(PRR)提供信息。


規(guī)則的概率化表征模塊


該模塊用于將人類的駕駛常識(shí)和交通規(guī)則轉(zhuǎn)化為自動(dòng)駕駛系統(tǒng)可理解的概率分布,再通過概率化軌跡采樣生成符合交通規(guī)則的候選軌跡,并為每個(gè)選項(xiàng)賦予相應(yīng)的概率權(quán)重。例如,在交叉路口,系統(tǒng)可以生成"等待""緩慢通過"等符合規(guī)則的選項(xiàng),并賦予相應(yīng)的優(yōu)先級(jí)。

此外,該模塊還包含規(guī)則的語言描述部分,將交通規(guī)則和駕駛指令編碼為語義特征,使其能夠被決策模塊理解和應(yīng)用。例如,紅燈停車或右轉(zhuǎn)讓行的規(guī)則會(huì)生成特定語義向量。

PRR輸出的兩種信息均會(huì)進(jìn)入到?jīng)Q策單元,與BEV單元輸出的特征圖、VLM輸出的場(chǎng)景理解特征互相融合,最終生成一條最佳的目標(biāo)行駛軌跡。

最后補(bǔ)充一點(diǎn),VLM和PRR模塊本質(zhì)上是端到端系統(tǒng)的增強(qiáng)型"外掛",它們額外引入了類人的對(duì)于場(chǎng)景的綜合理解能力,以及常識(shí)和交規(guī)的語義表征,從而在擴(kuò)展軌跡決策能力的同時(shí)維持了端到端系統(tǒng)的整體工作原理, 其本質(zhì)上相當(dāng)于一個(gè)功能增強(qiáng)了的One Model架構(gòu)。

三、用擴(kuò)散模型生成軌跡,應(yīng)對(duì)不同環(huán)境

介紹完各個(gè)單元和模塊后,我們?cè)賮碇攸c(diǎn)看一下這套端到端系統(tǒng)的核心——決策部分,到底是如何進(jìn)行軌跡預(yù)測(cè)的。

這里主要使用了擴(kuò)散模型這種生成式模型。工作時(shí),系統(tǒng)會(huì)首先生成多個(gè)可能的候選軌跡,然后通過逐層多次去噪篩選出最優(yōu)軌跡。例如,在行駛過程中,如果系統(tǒng)預(yù)測(cè)到前方車輛可能變道,擴(kuò)散模型會(huì)生成多個(gè)候選路徑,并在去噪過程中逐步排除高風(fēng)險(xiǎn)的路徑,確保最終選擇一條安全的行駛路徑。


基于擴(kuò)散模型的軌跡預(yù)測(cè)模塊


這種軌跡生成方法具備多種優(yōu)勢(shì)。首先,擴(kuò)散模型采用逐步迭代的去噪過程,每一步都對(duì)預(yù)測(cè)進(jìn)行細(xì)化,從而逐漸優(yōu)化輸出。相比于傳統(tǒng)一次性生成結(jié)果的模型,擴(kuò)散模型能夠更精細(xì)地控制輸出,使軌跡預(yù)測(cè)更加平滑和自然。這一特性尤其適用于動(dòng)態(tài)環(huán)境中的軌跡預(yù)測(cè),確保模型在復(fù)雜場(chǎng)景中生成的路徑符合實(shí)際行駛需求。

其次,擴(kuò)散模型的核心設(shè)計(jì)是去噪。這使其在面對(duì)噪聲數(shù)據(jù)或帶有隨機(jī)擾動(dòng)的輸入時(shí),依然能夠穩(wěn)定地生成合理的軌跡,讓系統(tǒng)在應(yīng)對(duì)復(fù)雜環(huán)境時(shí)具備更強(qiáng)的魯棒性。

最后,該模型在處理長(zhǎng)尾場(chǎng)景時(shí)表現(xiàn)出色,比如極端天氣、異形障礙物、突然橫穿的行人等,增加了智駕系統(tǒng)的泛化能力。

四、C1200可快速部署,A2000將大顯身手

黑芝麻智能的端到端參考方案,以其創(chuàng)新的One Model架構(gòu)和多模塊協(xié)同設(shè)計(jì),成功解決了傳統(tǒng)分段式端到端系統(tǒng)中信息損耗、訓(xùn)練分離等核心問題。在決策單元引入VLM和PRR模塊后,這套方案進(jìn)一步提升了決策能力,無論在場(chǎng)景理解、軌跡規(guī)劃,還是動(dòng)態(tài)環(huán)境適應(yīng)方面,都達(dá)到了新的高度。這種設(shè)計(jì)不僅提升了端到端系統(tǒng)的整體性能,也為行業(yè)開創(chuàng)了更智能、更高效的技術(shù)路徑。

當(dāng)然,再先進(jìn)的算法也離不開芯片的支持。黑芝麻智能在設(shè)計(jì)端到端參考方案的同時(shí),充分考慮了軟硬件結(jié)合的實(shí)際需求,使其方案可以靈活適配不同性能的芯片平臺(tái)。

不含 VLM 和 PRR 模塊的標(biāo)準(zhǔn)版方案,可在黑芝麻智能現(xiàn)有的武當(dāng) C1200家族芯片上高效部署,滿足車企和Tier1等合作伙伴基于算法的參考方案快速適配硬件并開發(fā)量產(chǎn)端到端系統(tǒng)的需求;而隨著未來黑芝麻智能華山A2000家族芯片的推出,則可以用超高算力支持包括VLM和PRR模塊的高階版端到端系統(tǒng)的部署,為終端客戶提供更高性能的智駕體驗(yàn),并為L(zhǎng)3和L4級(jí)自動(dòng)駕駛做好準(zhǔn)備。

未來,隨著端到端架構(gòu)的不斷完善和芯片技術(shù)的迭代提升,黑芝麻智能將繼續(xù)引領(lǐng)行業(yè)發(fā)展,為中國(guó)智能汽車產(chǎn)業(yè)的加速崛起貢獻(xiàn)更多智慧與力量。

 

免責(zé)聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題,請(qǐng)聯(lián)系小編進(jìn)行處理。


 我愛方案網(wǎng)


推薦閱讀:

艾邁斯歐司朗光子創(chuàng)新:利用多光譜傳感技術(shù)減少食物浪費(fèi)

新一代電源質(zhì)量監(jiān)控技術(shù)——幫助工業(yè)設(shè)備保持良好狀態(tài)

LED 調(diào)光引擎:基于 8 位 MCU 的開關(guān)模式可調(diào)光 LED 驅(qū)動(dòng)器解決方案

雷諾旗下安培與意法半導(dǎo)體簽署碳化硅長(zhǎng)期供應(yīng)協(xié)議,合作開發(fā)電動(dòng)汽車電源控制系統(tǒng)

如何利用英飛凌MOTIX embedded power硬件機(jī)制標(biāo)定小電機(jī)ECU


特別推薦
技術(shù)文章更多>>
技術(shù)白皮書下載更多>>
熱門搜索
?

關(guān)閉

?

關(guān)閉