圖像傳感器推動(dòng)嵌入式視覺(jué)技術(shù)發(fā)展
發(fā)布時(shí)間:2019-05-11 責(zé)任編輯:lina
【導(dǎo)讀】新的成像應(yīng)用正在蓬勃發(fā)展,從工業(yè) 4.0 中的協(xié)作機(jī)器人,到無(wú)人機(jī)消防或用于農(nóng)業(yè),再到生物特征面部識(shí)別,再到家庭中的護(hù)理點(diǎn)手持醫(yī)療設(shè)備。
新的成像應(yīng)用正在蓬勃發(fā)展,從工業(yè) 4.0 中的協(xié)作機(jī)器人,到無(wú)人機(jī)消防或用于農(nóng)業(yè),再到生物特征面部識(shí)別,再到家庭中的護(hù)理點(diǎn)手持醫(yī)療設(shè)備。出現(xiàn)這些新應(yīng)用程序的一個(gè)關(guān)鍵因素是,嵌入式視覺(jué)比以往任 何時(shí)候都更普及。嵌入式視覺(jué)不是一個(gè)新概念;它只是定義了一個(gè)系統(tǒng),其中包括一個(gè)視覺(jué)設(shè)置,在沒(méi)有 外部計(jì)算機(jī)的情況下控制和處理數(shù)據(jù)。它已廣泛應(yīng)用于工業(yè)質(zhì)量控制,最為人熟悉的例子比如“智能相機(jī)”。
近年源于消費(fèi)類(lèi)市場(chǎng)經(jīng)濟(jì)適用硬件器件的開(kāi)發(fā),相較于以往使用電腦的方案,這些器件大幅度減小了材料清單(BOM)成本和產(chǎn)品體積。舉個(gè)例子,小型系統(tǒng)集成商或 OEM 現(xiàn)在能夠小批量采購(gòu)諸如 NVIDIA Jetson 的單板機(jī)或模塊系統(tǒng);而較大型的 OEM 則可以直接獲得如高通驍龍(Qualcomm Snapdragon)或英特爾(Intel) Movidius Myriad 2 等圖像信號(hào)處理器。在軟件級(jí)方面,市面軟件庫(kù)能夠加快專(zhuān)用視覺(jué)系統(tǒng)的開(kāi)發(fā)速度,減小配置難度,即便是針對(duì)小批量生產(chǎn)。
第二個(gè)推動(dòng)嵌入式視覺(jué)系統(tǒng)發(fā)展的變化是機(jī)器學(xué)習(xí)的出現(xiàn),它使實(shí)驗(yàn)室中的神經(jīng)網(wǎng)絡(luò)能夠接受培訓(xùn),然后直接上傳到處理器中,以便它能夠自動(dòng)識(shí)別特征,并實(shí)時(shí)做出決定。
能夠提供適用于嵌入式視覺(jué)系統(tǒng)的解決方案,對(duì)于面向這些高增長(zhǎng)應(yīng)用的成像企業(yè)來(lái)說(shuō)至關(guān)重要。圖像傳感器由于能夠直接影響嵌入式視覺(jué)系統(tǒng)的效能和設(shè)計(jì),因而在大規(guī)模引進(jìn)中有重要角色,而它的主要推動(dòng)因素可概括為:更小尺寸、重量、功耗和成本,英語(yǔ)簡(jiǎn)稱(chēng)為“SWaP-C”(decreasing Size, Weight, Power and Cost)。
1.降低成本至關(guān)重要
嵌入式視覺(jué)新應(yīng)用的加速推動(dòng)器是滿(mǎn)足市場(chǎng)需求的價(jià)格,而視覺(jué)系統(tǒng)成本正是實(shí)現(xiàn)這要求的一個(gè)主要制肘。
1.1.節(jié)省光學(xué)成本
減小視覺(jué)模塊成本的第一個(gè)途徑是縮小產(chǎn)品尺寸, 原因有兩個(gè):首先是圖像傳感器的像素尺寸愈小,晶圓便可以制造更多的芯片;另一方面?zhèn)鞲衅骺梢允褂酶「统杀镜墓鈱W(xué)組件,二者都能夠降低固有成本。例如 Teledyne e2v 的 Emerald 5M 傳感器把像素尺寸減小至 2.8μm,讓 S 口(M12) 鏡頭能夠用于五百萬(wàn)像素全局快門(mén)傳感器上,帶來(lái)直接的成本節(jié)省──入門(mén)級(jí)的 M12 鏡頭的價(jià)格約為 10 美元,而較大尺寸的 C 口或 F 口鏡頭成本是其 10 到 20 倍。所以減小尺寸是降低嵌入式視覺(jué)系統(tǒng)成本的有效方法。
對(duì)于圖像傳感器制造商來(lái)說(shuō),這種降低的光學(xué)成本對(duì)設(shè)計(jì)有另一個(gè)影響,因?yàn)橐话銇?lái)說(shuō),光學(xué)成本越低, 傳感器的入射角越不理想。因此,低成本光學(xué)需要在像素上方設(shè)計(jì)特定的位移微透鏡,以補(bǔ)償來(lái)自廣角的畸變和聚焦光。
1.2.傳感器低成本接口
除了光學(xué)優(yōu)化,傳感器接口的選擇也間接影響視覺(jué)系統(tǒng)的成本。MIPI CSI-2 接口是實(shí)現(xiàn)節(jié)約成本的最合適選擇(它最初是由 MIPI 聯(lián)盟為移動(dòng)行業(yè)開(kāi)發(fā)的)。它已被大多數(shù) ISP 廣泛采用,并已開(kāi)始在工業(yè)市場(chǎng)采用,因?yàn)樗峁┝艘粋€(gè)從 NXP、Nvidia、高通公司或 Intel 等公司的低成本的片上系統(tǒng)(SOC)或模塊上系統(tǒng)(SOM)的集成。設(shè)計(jì)一種具有 MIPI CSI-2 傳感器接口的 CMOS 圖像傳感器,無(wú)需任何中間轉(zhuǎn)換器橋,直接將圖像傳感器的數(shù)據(jù)傳輸?shù)角度胧较到y(tǒng)的主機(jī) SOC 或 SOM,從而節(jié)省了成本和 PCB 空間,當(dāng)然,在基于多傳感器的嵌入式系統(tǒng)(如 360 度全景系統(tǒng))中,這一優(yōu)勢(shì)更為突出。
不過(guò)這些好處受到一些限制,因?yàn)?MIPI 接口的連接距離限制為 20 cm,這在傳感器距離主機(jī)處理器較遠(yuǎn)的遠(yuǎn)程設(shè)置中可能不是最佳的。在這些配置中,以犧牲小型化為代價(jià),使用集成更長(zhǎng)接口的相機(jī)板解決方案是比較好的選擇。一些現(xiàn)成的解決方案可以集成,例如工業(yè)相機(jī)制造商(如 Flir、AVT、Basler 等)的相機(jī)板通常可在 MIPI 或 USB3 接口中使用,后者能夠達(dá)到的范圍可以超過(guò) 3 米至 5 米。
1.3.減小開(kāi)發(fā)成本
在投資新產(chǎn)品時(shí),不斷上升的開(kāi)發(fā)成本往往是一個(gè)挑戰(zhàn);它可能會(huì)在一次性開(kāi)發(fā)費(fèi)上花費(fèi)數(shù)百萬(wàn)美元,并 給上市時(shí)間帶來(lái)壓力。對(duì)于嵌入式視覺(jué),這種壓力變得更大,因?yàn)槟K化(即產(chǎn)品能否切換使用多種圖像 傳感器)是集成商的重要考慮。幸運(yùn)的是,通過(guò)在傳感器之間提供一定程度的交叉兼容性,例如,通過(guò)定 義共享相同像素體系結(jié)構(gòu)的組件系列以具有穩(wěn)定的光電性能,通過(guò)具有共用光學(xué)中心來(lái)共享單個(gè)前端機(jī)制, 以及通過(guò)兼容的 PCB 組件來(lái)簡(jiǎn)化評(píng)估,集成和供應(yīng)鏈,從而減小開(kāi)發(fā)費(fèi)用。
為簡(jiǎn)化相機(jī)板設(shè)計(jì)(即使用于多款傳感器),有兩種方法設(shè)計(jì)傳感器封裝。針腳對(duì)針腳兼容是相機(jī)板設(shè)計(jì)人員的首選設(shè)計(jì),因?yàn)樗苁苟喾N傳感器共享同一電路和控制,使得組裝完全不受 PCB 設(shè)計(jì)影響。另一個(gè)選擇是采用尺寸兼容的傳感器,這樣同一 PCB 可以使用多款傳感器,但是這也意味著他們可能要應(yīng)付每一款傳感器的接口和布線的差異狀況。
圖 1: 圖像傳感器可經(jīng)設(shè)計(jì)提供針腳兼容(圖左)或尺寸兼容(圖右)以實(shí)現(xiàn)專(zhuān)有 PCB 布局設(shè)計(jì)
2.能效提供更佳單獨(dú)工作能力
微型電池驅(qū)動(dòng)的設(shè)備是最明顯的受益于嵌入式視覺(jué)的應(yīng)用程序,因?yàn)橥獠坑?jì)算機(jī)阻止任何便攜式應(yīng)用程序的發(fā)生。為了降低系統(tǒng)的能耗,圖像傳感器現(xiàn)在包含了多種功能,使系統(tǒng)設(shè)計(jì)者能夠節(jié)省電力。
從傳感器角度出發(fā),有多種方法減小嵌入式視覺(jué)系統(tǒng)功耗而不損采集幀率。最簡(jiǎn)單的方法是通過(guò)盡可能長(zhǎng)時(shí)間使用待機(jī)或閑置模式,在系統(tǒng)級(jí)最小化傳感器本身的動(dòng)態(tài)操作。待機(jī)模式通過(guò)關(guān)閉仿真電路,把傳感器的功耗降低到工作模式的 10%以下。而閑置模式則可把功耗減半,并讓傳感器在數(shù)微秒內(nèi)重新啟動(dòng)獲取圖像。
而在傳感器設(shè)計(jì)集成節(jié)能的另一個(gè)方法是采用先進(jìn)光刻節(jié)點(diǎn)技術(shù)。技術(shù)節(jié)點(diǎn)越小,轉(zhuǎn)換晶體管所需的電壓便越小,由于功耗與電壓成正比(???????????????? ∝ ?? × ??2),這樣就能降低功耗。所以 10 年前使用 180nm 技術(shù)生產(chǎn)的像素不單把晶體管縮小到 110nm,同時(shí)也把數(shù)字電路的電壓從 1.9 伏降到 1.2 伏。下一世代的傳感器將使用 65nm 技術(shù)節(jié)點(diǎn),使得嵌入式視覺(jué)應(yīng)用更省能。
最后一點(diǎn)是,通過(guò)選擇合適的圖像傳感器,可以在某些條件下降低 LED 燈的能耗。有一些系統(tǒng)必須使用主動(dòng)照明,例如三維地圖生成、動(dòng)作停頓、或是純粹使用順序脈沖指定波長(zhǎng)來(lái)提高反差。在這些情形下, 減低圖像傳感器在低亮度環(huán)境下的噪聲便能實(shí)現(xiàn)更低的功耗。減小了傳感器噪聲,工程人員便可決定減小電流密度強(qiáng)度,或是減小集成進(jìn)嵌入式視覺(jué)系統(tǒng)的 LED 燈數(shù)目。在其他情況下,當(dāng)圖像捕獲和 LED 閃爍由外部事件觸發(fā)時(shí),選擇適當(dāng)?shù)膫鞲衅髯x出結(jié)構(gòu)可以顯著節(jié)省電能。使用傳統(tǒng)卷簾快門(mén)傳感器,幀全曝光時(shí) LED 燈必需全開(kāi),而全局快門(mén)傳感器則允許只在幀的某部份開(kāi)動(dòng) LED 燈。所以如使用像素內(nèi)相關(guān)雙采樣(CDS)應(yīng)用下,以全局快門(mén)傳感器替代卷簾快門(mén)傳感器就可以節(jié)省照明成本,同時(shí)仍保持與顯微鏡中使用的 CCD 傳感器一樣低的噪聲。
3.片上功能為應(yīng)用程序設(shè)計(jì)的視覺(jué)系統(tǒng)鋪平了道路
嵌入式視覺(jué)的一些偏鋒延展概念,引導(dǎo)我們對(duì)圖像傳感器進(jìn)行全面定制,以 3D 堆疊方式集成所有處理功能(芯片上的系統(tǒng)) 以實(shí)現(xiàn)優(yōu)化性能和功耗。不過(guò),開(kāi)發(fā)這一類(lèi)產(chǎn)品的成本十分高昂,能夠達(dá)到這一集成水平的全定制傳感器長(zhǎng)遠(yuǎn)來(lái)說(shuō)并非完全不可能,而現(xiàn)在我們正處于一個(gè)過(guò)渡階段,包含將某些功能直接嵌入到傳感器,以減省計(jì)算負(fù)載和加快處理時(shí)間。
例如在條形碼閱讀應(yīng)用, Teledyne e2v 公司已擁有專(zhuān)利技術(shù),將包含一個(gè)專(zhuān)有條形碼識(shí)別算法的嵌入式 功能加進(jìn)傳感器芯片,這算法可以找出每一幀幅內(nèi)的條形碼位置,讓圖像信號(hào)處理器只需聚焦于這些范圍, 提高數(shù)據(jù)處理效率。
圖二:Teledyne e2v Snappy 五百萬(wàn)像素芯片,自動(dòng)識(shí)別條形碼位置
另一個(gè)減少處理負(fù)載和優(yōu)化“良好”數(shù)據(jù)的功能是 Teledyne E2V 的專(zhuān)利快速曝光模式,該模式使傳感器能夠自動(dòng)校正曝光時(shí)間,以避免照明條件變化時(shí)出現(xiàn)飽和。這項(xiàng)功能優(yōu)化了處理時(shí)間,因?yàn)樗m應(yīng)了單幀中光照的波動(dòng),而且這種快速反應(yīng)最大限度地減少了處理器需要處理的“壞”圖像的數(shù)量。
這些功能通常是特定的,需要很好地理解客戶(hù)的應(yīng)用程序。只要對(duì)應(yīng)用程序有足夠的了解,就可以設(shè)計(jì)多種其他片上功能來(lái)優(yōu)化嵌入式視覺(jué)系統(tǒng)。
4.減小重量尺寸以配合最小應(yīng)用空間
嵌入式視覺(jué)系統(tǒng)的另一主要要求是能夠配合狹小空間,或是重量要小,以便用于手持式設(shè)備/或延長(zhǎng)電池推動(dòng)產(chǎn)品的工作時(shí)間。這就是現(xiàn)在大部份嵌入式視覺(jué)系統(tǒng)使用只有 1MP 到 5MP 的低分辨率小型光學(xué)格式傳感器的原因。
減小像素芯片的尺寸只是減小圖像傳感器占位面積和重量的第一步。現(xiàn)在的 65nm 工藝讓我們能夠把全局快門(mén)像素尺寸減小至 2.5μm 而不損光電性能。這種生產(chǎn)工藝使得諸如全高清全局快門(mén) CMOS 圖像傳感器能夠配合手機(jī)市場(chǎng)要求小于 1/3 英寸的規(guī)格。
減小傳感器重量和占位面積的另一主要技術(shù)是縮小封裝尺寸。芯片級(jí)封裝在過(guò)去數(shù)年在市場(chǎng)迅速成長(zhǎng), 在移動(dòng)、車(chē)載電子和醫(yī)療應(yīng)用中特別明顯。相較用工業(yè)市場(chǎng)常用的傳統(tǒng)陶瓷 (Ceramic Land Grid Array, 簡(jiǎn)稱(chēng) CLGA) 封裝,芯片級(jí)扇出封裝能夠?qū)崿F(xiàn)更高密度連接,因而是嵌入式系統(tǒng)圖像傳感器輕量化小型化挑戰(zhàn)的出色解決方案。例如 Teledyne e2v 的 Emerald 2M 圖像傳感器芯片級(jí)封裝,側(cè)高只是陶瓷封裝的一半,而尺寸則減小 30%。
圖 3:同一芯片采用 CLGA 封裝(圖左)和晶圓級(jí)扇出有機(jī)封裝(圖右)的比較。后者能夠減少占位、厚度和成本。
展望未來(lái),我們預(yù)期新的技術(shù)能進(jìn)一步實(shí)現(xiàn)嵌入式視覺(jué)系統(tǒng)所需的更小傳感器尺寸。
三維堆棧是讓半導(dǎo)體器件生產(chǎn)的創(chuàng)新技術(shù),它的原理是在不同晶圓上制造各種電路芯片,然后利用銅對(duì)銅連接和過(guò)硅沖孔(Through Silicon Vias,簡(jiǎn)稱(chēng) TSV)技術(shù)進(jìn)行堆棧和互聯(lián)。三維堆棧因?yàn)槭嵌鄬又氐酒?允許器件實(shí)現(xiàn)比傳統(tǒng)傳感器更小的占位尺寸。而在三維堆棧傳感器中,讀出和處理芯片可以置于像素芯片和行譯碼器的下方。這樣,傳感器的占位尺寸因縮小的讀出和處理芯片而減小,并且可以在傳感器中加入更多處理資源以減小圖像信號(hào)處理器的載荷。
圖 4:三維芯片堆棧技術(shù)有助于實(shí)現(xiàn)像素芯片、仿真和數(shù)字電路,甚至是用于專(zhuān)門(mén)應(yīng)用的附加處理芯片組合重迭,減小傳感器面積。
不過(guò),要讓三維堆棧技術(shù)在圖像傳感器市場(chǎng)獲得廣泛應(yīng)用,現(xiàn)在還面對(duì)著一些挑戰(zhàn)。首先這是一個(gè)新興的 技術(shù),其次是它的成本較高,因?yàn)樾枰郊拥墓に嚥襟E,使得芯片成本比使用傳統(tǒng)技術(shù)的芯片高三倍以上。因?yàn)槿S埋迭將主要是高性能或非常小占位尺寸的嵌入式視覺(jué)系統(tǒng)的選擇。
總結(jié)而言,嵌入式視覺(jué)系統(tǒng)可以歸納為一種「輕量」視覺(jué)技術(shù),可以用于包括 OEM、系統(tǒng)集成商和標(biāo)準(zhǔn)相機(jī)廠商等不同類(lèi)型企業(yè)。“嵌入式 “是一個(gè)可用于不同應(yīng)用的概括性描述,因而不能開(kāi)出列表說(shuō)明它的特征。不過(guò)優(yōu)化嵌入式視覺(jué)系統(tǒng)有幾個(gè)適用法則,就是一般而言,市場(chǎng)推動(dòng)力并非來(lái)自超級(jí)快的速度或超高的靈敏度,而是尺寸、重量、功耗和成本。圖像傳感器是這些條件的主要推手,所以需要小心選擇合適的圖像傳感器,以便于優(yōu)化嵌入式視覺(jué)系統(tǒng)的總體性能。合適的圖像傳感器能為嵌入式設(shè)計(jì)人員帶來(lái)更多靈活性,節(jié)省材料清單成本,減小照明和光學(xué)組件的占位面積。它也讓設(shè)計(jì)人員在無(wú)需面對(duì)更多復(fù)雜性的情況下,選擇來(lái)自消費(fèi)市場(chǎng)的大量經(jīng)濟(jì)適用并具有優(yōu)化深度學(xué)習(xí)功能的圖像信號(hào)處理器。
(來(lái)源:Teledyne e2v 公司 ,作者: Marie-Charlotte Leclerc )
特別推薦
- 復(fù)雜的RF PCB焊接該如何確保恰到好處?
- 電源效率測(cè)試
- 科技的洪荒之力:可穿戴設(shè)備中的MEMS傳感器 助運(yùn)動(dòng)員爭(zhēng)金奪銀
- 輕松滿(mǎn)足檢測(cè)距離,勞易測(cè)新型電感式傳感器IS 200系列
- Aigtek推出ATA-400系列高壓功率放大器
- TDK推出使用壽命更長(zhǎng)和熱點(diǎn)溫度更高的全新氮?dú)馓畛淙嘟涣鳛V波電容器
- 博瑞集信推出低噪聲、高增益平坦度、低功耗 | 低噪聲放大器系列
技術(shù)文章更多>>
- 聚焦制造業(yè)企業(yè)貨量旺季“急難愁盼”,跨越速運(yùn)打出紓困“連招”
- 選擇LDO時(shí)的主要考慮因素和挑戰(zhàn)
- 兩張圖說(shuō)清楚共射極放大器為什么需要發(fā)射極電阻
- 授權(quán)代理商貿(mào)澤電子供應(yīng)Toshiba多樣化電子元器件和半導(dǎo)體產(chǎn)品
- 科技的洪荒之力:可穿戴設(shè)備中的MEMS傳感器 助運(yùn)動(dòng)員爭(zhēng)金奪銀
技術(shù)白皮書(shū)下載更多>>
- 車(chē)規(guī)與基于V2X的車(chē)輛協(xié)同主動(dòng)避撞技術(shù)展望
- 數(shù)字隔離助力新能源汽車(chē)安全隔離的新挑戰(zhàn)
- 汽車(chē)模塊拋負(fù)載的解決方案
- 車(chē)用連接器的安全創(chuàng)新應(yīng)用
- Melexis Actuators Business Unit
- Position / Current Sensors - Triaxis Hall
熱門(mén)搜索
光收發(fā)器
光通訊器件
光纖連接器
軌道交通
國(guó)防航空
過(guò)流保護(hù)器
過(guò)熱保護(hù)
過(guò)壓保護(hù)
焊接設(shè)備
焊錫焊膏
恒溫振蕩器
恒壓變壓器
恒壓穩(wěn)壓器
紅外收發(fā)器
紅外線加熱
厚膜電阻
互連技術(shù)
滑動(dòng)分壓器
滑動(dòng)開(kāi)關(guān)
輝曄
混合保護(hù)器
混合動(dòng)力汽車(chē)
混頻器
霍爾傳感器
機(jī)電元件
基創(chuàng)卓越
激光二極管
激光器
計(jì)步器
繼電器