【導讀】7月6日,2023世界人工智能大會——芯片主題論壇在上海舉辦。會上,高通全球副總裁兼高通AI研究負責人侯紀磊博士做了題為《全棧AI優(yōu)化 打造領(lǐng)先的邊緣AI性能》的演講,介紹了終端AI的重要性和優(yōu)勢,高通在終端AI方面特別是生成AI方面的進展,以及對于混合AI在高效推動AI規(guī)?;涞氐确矫娴目捶?。
全棧式AI優(yōu)化 打造高效能AI
如今,盡管大量AI的訓練和推理仍在云端進行,但終端側(cè)的人工智能正變得越來越至關(guān)重要。通過在最靠近數(shù)據(jù)源頭之處處理數(shù)據(jù),并同云端形成互補,往往能夠帶來在隱私、可靠性、低時延、成本、能耗、個性化等方面的顯著優(yōu)勢。
“比如在成本方面,生成式AI通常參數(shù)體量巨大,如果在端側(cè)部署,能夠推動成本的顯著降低。而在AI數(shù)字助手方面,手機、駕艙、PC等使用場景,端側(cè)AI則能夠很好地滿足私密性、個性化的需求。”侯紀磊說。
據(jù)侯紀磊介紹,早在十幾年前,高通便開始了AI方面的研發(fā),其中一個重要研究方向就是高效能AI,在包括硬件、算法和軟件等層面進行了大量的研發(fā)創(chuàng)新。
在高效硬件方面,通過對高通移動平臺中CPU、GPU、NPU等不同單元進行優(yōu)化,最終使得針對不同任務,能夠選擇合適的計算模塊運行,侯紀磊認為這是高通端側(cè)AI非常顯著的特點。在算法層面,高通具有一支頂尖的深度神經(jīng)網(wǎng)絡(luò)算法團隊,有很多原創(chuàng)性的研究成果。在軟件方面,在面向深度學習的軟件加速runtime以及SDK/開發(fā)框架方面,高通對于客戶以及開發(fā)者都做出了很好的支持。
“因此,高通AI研究的一個非常重要的原則,就是全棧式的AI創(chuàng)新和優(yōu)化。通過跨層的模型、硬件和軟件創(chuàng)新加速AI應用,這種早期研發(fā)和技術(shù)發(fā)明對于引領(lǐng)生態(tài)系統(tǒng)發(fā)展至關(guān)重要,而最終將技術(shù)提供給商業(yè)團隊,并通過部署過程中的收獲來影響未來的研究,形成正向循環(huán)?!焙罴o磊說。
量化研究處于行業(yè)最前沿
據(jù)侯紀磊介紹,高通在高效能AI研發(fā)中,一個重要的部分是整體模型效率研究,目的是在多個方向縮減AI模型,使其在硬件上高效運行。
比如在量化方面,學習在保持所需精度的同時降低比特精度;在條件計算方面,學習僅基于輸入執(zhí)行大模型圖例模型部分組件;在神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方面,學習設(shè)計更小的神經(jīng)網(wǎng)絡(luò),能夠在真實硬件上媲美或超過人工設(shè)計架構(gòu);在編譯方面,學習編譯AI模型以實現(xiàn)高效的硬件執(zhí)行等。
“在量化方面,高通一直在業(yè)界進行無論是從學術(shù)研究還是落地層面的推動。包括Stable Diffusion和ChatGPT等最終要在端側(cè)實現(xiàn),量化一定是非常重要的手段。在高效能的推理方面,整數(shù)的點運算是非常重要的方向。在這方面,高通在積極推動相關(guān)學術(shù)研究,包括在頂級學術(shù)會議上的發(fā)布一些論文的同時,也會定期放到開源的工具包AIMET中。通過領(lǐng)先的AI研究和快速商業(yè)化,推動行業(yè)向整數(shù)推理和高能效AI方向發(fā)展?!焙罴o磊說。
侯紀磊還重點提及了高通在2020年的一項研究成果——AdaRound量化研究算法,包括很多先進的理念和技術(shù)。
“高通能夠?qū)table Diffusion引入端側(cè),AdaRound就是其中一個非常重要的量化手段。此外,在大語言模型來到4bit時,包括GPTQ等主流技術(shù),實際上也是基于AdaRound演進的簡化。所以在量化方面,不管是學界還是業(yè)界,高通都處于非常前沿的位置?!焙蚣o磊說。
廣泛賦能眾多類型終端
在今日開幕的2023 世界人工智能大會(WAIC)上,第二代驍龍8移動平臺的高通AI引擎榮獲此次大會的頂級獎項:SAIL獎——卓越人工智能引領(lǐng)者獎。
第二代驍龍8憑借面向整個平臺的開創(chuàng)性AI智能設(shè)計賦能了非凡用戶體驗,樹立了網(wǎng)聯(lián)計算的新標桿。其搭載高通技術(shù)公司處理速度最快、最先進的高通 AI 引擎,通過軟硬件的一系列創(chuàng)新,相較上一代帶來4.35倍的AI性能提升和60%的能效提升,從而為越來越多的創(chuàng)新型AI用例和AI增強的用戶體驗提供強大的性能基礎(chǔ)。
高通 AI 引擎由多個硬件和軟件組件組成,用于在驍龍移動平臺上為終端側(cè) AI 推理加速。它采用異構(gòu)計算架構(gòu),包括高通 Hexagon 處理器、Adreno GPU、Kryo CPU 和傳感器中樞,共同支持在終端上快速而有效的運行 AI 應用程序。其關(guān)鍵核心 Hexagon 處理器擁有一系列創(chuàng)新,如提供專用供電系統(tǒng)、支持微切片推理、INT4精度、Transformer 網(wǎng)絡(luò)加速等,可結(jié)合高通 AI 軟件棧和 AI Studio 提供全棧 AI 能力和優(yōu)化手段,在行業(yè)內(nèi)率先在終端側(cè)支持 Stable Diffusion、ControlNet 等生成式 AI 用例,并可與云端協(xié)同打造適應大模型時代的混合 AI 處理框架,從而助力AI體驗創(chuàng)新和生態(tài)繁榮。
此外,侯紀磊介紹了AI在5G方面的應用。在今年的世界移動通信大會(MWC)上,高通發(fā)布了驍龍X75調(diào)制解調(diào)器及射頻系統(tǒng),引入了第二代高通5G AI套件,包括專用張量加速器。同時,據(jù)侯紀磊介紹,高通AI團隊也與無線團隊一直保持非常緊密的深入合作,從而能夠保證將研究成果更快推向商用。比如通過AI技術(shù)進行毫米波波束管理,擴毫米波通信的覆蓋范圍;通過AI輔助GPS定位,提升定位的精準度等。
“目前,高通已經(jīng)形成了在邊緣側(cè)的布局和規(guī)模化的優(yōu)勢。搭載驍龍和高通平臺的用戶終端數(shù)量已經(jīng)達到數(shù)十億臺。每年有數(shù)億臺搭載驍龍和高通平臺的終端進入市場。我們的AI能力賦能一系列廣泛的產(chǎn)品,包括手機、汽車、XR、PC和物聯(lián)網(wǎng)設(shè)備。”侯紀磊說。
持續(xù)推進支持百億參數(shù)大模型
去年年底,由ChatGPT引發(fā)的生成式AI浪潮席卷全球,而在生成式AI方面,高通于數(shù)年前便開始著手布局。
侯紀磊認為,生成式AI將影響各類終端上的應用場景。比如XR方面,基于簡單提示,創(chuàng)造沉浸式的3D虛擬世界;汽車方面,擁有先進駕駛輔助系統(tǒng)/自動駕駛,通過預測不同行為主體的軌跡和行為,幫助改進駕駛策略;在手機方面,成為真正的數(shù)字助手;在PC端,通過撰寫電子郵件,創(chuàng)建演示文稿和編寫代碼,變革生產(chǎn)力;在物聯(lián)網(wǎng)方面,有助于提升顧客和員工體驗,比如提供庫存和商店貨架排列推薦等。
今年的MWC上,高通的第二代驍龍8移動平臺已經(jīng)可以支持參數(shù)超過10億的AI模型運行,并進行了全球首次端側(cè)運行超過10億參數(shù)模型的演示。對于端側(cè)能夠有效支持的模型規(guī)模,侯紀磊認為,在廣泛的用例中有很多基于10億參數(shù)為單位,從10億到100億便能夠涵蓋相當多數(shù)的生成式AI,并能夠提供非常好的效果。據(jù)侯紀磊介紹,未來幾個月內(nèi),高通有望支持參數(shù)超過 100 億的模型在終端側(cè)運行,明年將能夠支持參數(shù)超過200億的模型。此外通過全棧式的AI優(yōu)化,未來也將進一步縮短大模型的推理時間。
侯紀磊指出,云經(jīng)濟難以支持生成式AI的規(guī)?;l(fā)展。如基于傳統(tǒng)方法和生成式AI的網(wǎng)絡(luò)搜索,單次查詢成本將是傳統(tǒng)的10倍,如果再疊加眾多的生成式AI應用以及數(shù)十億的用戶基數(shù),這將在云端帶來顯著的負擔。因此,推動端側(cè)和云端互補的混合AI,將是未來推動生成式AI落地的顯著趨勢。
“未來場景中有中心云、邊緣云、有終端側(cè),AI處理中心在一定程度上可以向邊緣發(fā)展,因此混合AI是未來能夠支持生成式AI、大語言模型等實現(xiàn)全球化、規(guī)?;l(fā)展的重要手段。這個過程中,在包括無線連接、高效計算、分布式AI等方面,高通都能夠通過與業(yè)界的合作帶來更多創(chuàng)新?!焙罴o磊說。
侯紀磊指出,對于混合AI的部署,當終端側(cè)具備強大生成式AI能力的時候,可以作為一個“錨點”。比如幫助工程師生成代碼,高通的愿景是未來一兩年內(nèi),在100-200億參數(shù)的范圍內(nèi),能夠使得大量工程師在端側(cè)進行代碼撰寫。端側(cè)AI作為智能“錨點”發(fā)揮指揮或協(xié)調(diào)的作用,可以將合格的代碼交給開發(fā)者,不理想的生成代碼指令再交給云端進一步處理,從而帶給用戶無縫體驗。
“終端側(cè)AI具有諸多優(yōu)勢,是讓AI無處不在的關(guān)鍵?;旌螦I是AI的未來,而我們的終端側(cè)AI領(lǐng)導力將支持生成式AI規(guī)?;瘮U展?!焙罴o磊最后強調(diào)。
作者:集微網(wǎng),來源:雪球
免責聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題,請聯(lián)系小編進行處理。
推薦閱讀: