【導(dǎo)讀】近來,與AI相關(guān)的周期性熱點幾乎都圍繞著大語言模型(LLM)和生成式AI模型,這樣的趨勢反映出這些話題近年來日益增強的影響力和普及程度。與大語言模型和生成式AI模型相關(guān)的應(yīng)用涵蓋了廣泛的領(lǐng)域,從開放式聊天機器人到任務(wù)型助手。雖然LLM主要聚焦基于云和服務(wù)器端的應(yīng)用,但人們對在嵌入式系統(tǒng)和邊緣設(shè)備中部署這些模型的興趣也在不斷增加。
近來,與AI相關(guān)的周期性熱點幾乎都圍繞著大語言模型(LLM)和生成式AI模型,這樣的趨勢反映出這些話題近年來日益增強的影響力和普及程度。與大語言模型和生成式AI模型相關(guān)的應(yīng)用涵蓋了廣泛的領(lǐng)域,從開放式聊天機器人到任務(wù)型助手。雖然LLM主要聚焦基于云和服務(wù)器端的應(yīng)用,但人們對在嵌入式系統(tǒng)和邊緣設(shè)備中部署這些模型的興趣也在不斷增加。
嵌入式系統(tǒng)(如家用電器、工業(yè)設(shè)備、汽車等設(shè)備中的微處理器)需要在成本和功耗受限的情況下,適應(yīng)有限的計算能力和內(nèi)存可用性。這使得在邊緣設(shè)備上部署高精度和高性能的語言模型極具挑戰(zhàn)性。
在邊緣設(shè)備上部署LLM
在嵌入式解決方案中,利用LLM的一個關(guān)鍵領(lǐng)域是操作員與機器之間的自然對話交互,即人機界面(HMI)。嵌入式系統(tǒng)可以簡化各種輸入選項,如麥克風、攝像頭或其他傳感器,但大多數(shù)系統(tǒng)不會像個人電腦、筆記本電腦和手機那樣,配備完整的鍵盤與LLM模型進行交互。因此,嵌入式系統(tǒng)在使用音頻和視覺作為LLM輸入時,必須具備實用性。這需要一個自動語音識別(ASR)或圖像識別和分類的預(yù)處理模塊。同樣,交互的輸出選項也有限。嵌入式解決方案可能沒有屏幕,或者不方便用戶閱讀屏幕信息。因此,在生成式AI模型之后,需要一個后處理步驟,使用文本到語音(TTS)算法將模型輸出轉(zhuǎn)換為音頻。恩智浦正在構(gòu)建eIQ? GenAI Flow,通過添加必要的預(yù)處理和后處理模塊,使其成為一個模塊化流程,從而使邊緣生成式AI更加實用。
通過LLM革新應(yīng)用
通過集成基于LLM的語音識別、自然語言理解和文本生成功能,嵌入式設(shè)備能夠提供更直觀和對話式的用戶體驗。這包括響應(yīng)語音命令的智能家居設(shè)備、通過自然語言控制的工業(yè)機械,以及能夠進行免提對話的汽車娛樂中控系統(tǒng),以指導(dǎo)用戶或操作車內(nèi)功能等。
LLM還在健康應(yīng)用中的嵌入式預(yù)測分析和決策支持系統(tǒng)中發(fā)揮作用。設(shè)備可以嵌入使用特定領(lǐng)域數(shù)據(jù)訓(xùn)練的語言模型,然后利用自然語言處理分析傳感器數(shù)據(jù)、識別模式并生成見解,同時在邊緣實時運行并保護患者隱私,無需將數(shù)據(jù)發(fā)送到云端。
應(yīng)對生成式AI挑戰(zhàn)
在嵌入式環(huán)境中部署準確且功能強大的生成式AI模型面臨許多挑戰(zhàn)。需要優(yōu)化模型的大小和內(nèi)存使用,使LLM能夠適應(yīng)目標硬件的資源限制。具有數(shù)十億個參數(shù)的模型需要數(shù)千兆字節(jié)的存儲空間,而在邊緣系統(tǒng)中,這可能會帶來高成本且難以實現(xiàn)。量化和修剪等模型優(yōu)化技術(shù)不僅適用于卷積神經(jīng)網(wǎng)絡(luò),也適用于轉(zhuǎn)換器模型——這是生成式AI克服模型大小問題的重要方法。
像LLM這樣的生成式AI模型也有知識局限性。例如,它們的理解是有限的,通常會提供不一致的答案,也稱為“幻覺”(hallucination),而且它們的知識受限于訓(xùn)練數(shù)據(jù)的時效性。訓(xùn)練模型或通過再訓(xùn)練來微調(diào)模型可以提高準確性和上下文感知,但這可能在數(shù)據(jù)收集和所需的訓(xùn)練計算方面花費巨大。幸運的是,有需求就有創(chuàng)新;通過檢索增強生成(RAG)可以解決這個問題。RAG方法使用特定上下文數(shù)據(jù)創(chuàng)建知識數(shù)據(jù)庫,LLM可以在運行時參考這些數(shù)據(jù)來準確回答查詢。
eIQ GenAI Flow將生成式AI和LLM的優(yōu)勢以實用的方式應(yīng)用于邊緣場景。通過將RAG整合到該流程中,我們?yōu)榍度胧皆O(shè)備提供特定領(lǐng)域的知識,而不會將用戶數(shù)據(jù)暴露給原始AI模型的訓(xùn)練數(shù)據(jù)。這樣可以確保對LLM的任何更改都是私密的,并且僅在邊緣本地使用。
生成式AI正在改變嵌入式應(yīng)用。閱讀恩智浦關(guān)于檢索增強生成(RAG)的白皮書,了解這種方法如何簡化LLM的開發(fā)過程。
(來源:恩智浦,作者:Ali Ors)
免責聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題,請聯(lián)系小編進行處理。
推薦閱讀:
延長蜂窩物聯(lián)網(wǎng)終端產(chǎn)品的電池壽命
采用創(chuàng)新型 C29 內(nèi)核的 MCU 如何提升高壓系統(tǒng)的實時性能
汽車 GPU 算力新高度支持智駕芯片實現(xiàn)架構(gòu)創(chuàng)新
貿(mào)澤電子與Analog Devices和Bourns聯(lián)手發(fā)布全新電子書