【導(dǎo)讀】計(jì)算機(jī)發(fā)展迅猛，在追求性能的同時(shí)，計(jì)算機(jī)視覺(jué)也經(jīng)受著考驗(yàn)，計(jì)算機(jī)視覺(jué)時(shí)代的到來(lái)直接影響著硬件性能的極限，本文就叫你如何破除計(jì)算機(jī)視覺(jué)給硬件性能造成的沖擊。詳細(xì)介紹了工程師的應(yīng)對(duì)策略。
計(jì)算機(jī)視覺(jué)更進(jìn)一步接近人類(lèi)視覺(jué)
新的計(jì)算機(jī)視覺(jué)時(shí)代降臨，促使增強(qiáng)現(xiàn)實(shí)和全息成像等先進(jìn)技術(shù)從臺(tái)式電腦環(huán)境步入移動(dòng)和嵌入式平臺(tái)，同時(shí)也使得包括CPU和GPU在內(nèi)的現(xiàn)有硬件面臨性能極限的考驗(yàn)。
隨著開(kāi)發(fā)人員在智能手機(jī)、平板電腦、可穿戴產(chǎn)品、監(jiān)控裝置和聯(lián)網(wǎng)汽車(chē)中不斷增加新的多媒體功能，在當(dāng)下的設(shè)計(jì)中，CPU和GPU是處理密集型圖像算法的主要承載平臺(tái)。然而，在實(shí)現(xiàn)一些諸如雙攝相頭、低光照拍攝和快速自動(dòng)對(duì)焦等創(chuàng)新功能時(shí)，OEM廠商和開(kāi)發(fā)人員也不得不作出一些妥協(xié)。
這種趨勢(shì)挑戰(zhàn)了，甚至超越了并非設(shè)計(jì)用于處理密集型圖像算法的CPU和GPU的極限，其中一個(gè)影響就是使得產(chǎn)品的功耗過(guò)高，并最終縮短了電池續(xù)航時(shí)間。實(shí)際上，嵌入式CPU和GPU也都必需具有極低的功耗，并針對(duì)其主要任務(wù)高度優(yōu)化。這個(gè)設(shè)計(jì)難題的最終解決方案，就是一個(gè)具有通用性構(gòu)架并專(zhuān)門(mén)為無(wú)縫處理圖像和智能視覺(jué)功能而專(zhuān)門(mén)設(shè)計(jì)的處理器IP。
新相機(jī)時(shí)代
有兩個(gè)用例可展示消費(fèi)電子產(chǎn)品中相機(jī)數(shù)目和圖像處理量是如何快速增加的，第一個(gè)例子是據(jù)悉至少具有6個(gè)攝像頭的 微軟HoloLens 增強(qiáng)現(xiàn)實(shí)頭盔。
第二個(gè)例子是增加了CMOS傳感器數(shù)量來(lái)實(shí)現(xiàn)更精巧相機(jī)功能的華為榮耀 6+ 智能手機(jī)。這款手機(jī)在其正面有一個(gè)8百萬(wàn)像素?cái)z像頭，而在其背面則使用兩個(gè)8百萬(wàn)像素?cái)z像頭以實(shí)現(xiàn)雙攝功能。
圖1: 增加相機(jī)數(shù)目構(gòu)成專(zhuān)用視覺(jué)處理器的案例
視覺(jué)處理器剖析來(lái)自 CEVA Inc.的全新圖像處理器就是這樣的一種平臺(tái)，用于在system-on-chip芯片(SoC)設(shè)計(jì)中，為CPU和GPU分擔(dān)處理密集型的圖像增強(qiáng)、計(jì)算圖像學(xué)和計(jì)算機(jī)視覺(jué)算法。CEVA-XM4可以實(shí)現(xiàn)類(lèi)似人的視覺(jué)感知能力，用于智能手機(jī)、平板電腦、汽車(chē)安全和信息娛樂(lè)、機(jī)器人、安防監(jiān)控、增強(qiáng)現(xiàn)實(shí)和無(wú)人機(jī)等廣泛的圖像應(yīng)用。
圖2: CEVA-XM4面向多個(gè)目標(biāo)市場(chǎng)
CEVA-XM4是CEVA公司的第四代圖像和視覺(jué)處理器IP，繼承了CEVA與十多家CEVA-MM3101授權(quán)廠商和合作伙伴共同工作所累積的專(zhuān)業(yè)知識(shí)與經(jīng)驗(yàn)。同時(shí)，CEVA-XM4是一個(gè)全新設(shè)計(jì)的完全可編程處理器，以期滿(mǎn)足最嚴(yán)苛的圖像處理和計(jì)算機(jī)視覺(jué)應(yīng)用的需求。CEVA將一個(gè)具有定點(diǎn)和浮點(diǎn)處理能力的可編程大位寬矢量處理架構(gòu)、多個(gè)對(duì)稱(chēng)標(biāo)量單元，以及一個(gè)專(zhuān)門(mén)為視覺(jué)處理設(shè)計(jì)的低功耗指令集集成進(jìn)XM4，達(dá)到比前代CEVA-MM3101多達(dá)8倍的性能提升和2.5倍的功耗改進(jìn)。
[page]
視覺(jué)處理器vs移動(dòng)GPU
與包括業(yè)界領(lǐng)先的移動(dòng)GPU在內(nèi)的各種競(jìng)爭(zhēng)解決方案相比，XM4智能視覺(jué)處理器在單位功耗（每mW）性能和單位芯片面積（每mm2 ）性能兩個(gè)方面都有突出的表現(xiàn)。與市場(chǎng)上一個(gè)公認(rèn)的最為先進(jìn)的移動(dòng)GPU比較，在目標(biāo)物體檢測(cè)與跟蹤應(yīng)用中，CEVA-XM4內(nèi)核完成相同任務(wù)的功耗只是競(jìng)爭(zhēng)解決方案的大約10%，而芯片面積大約只需5%。而且，與移動(dòng)GPU(如下圖2所示) 比較多鐘特定算法，顯示 XM4和移動(dòng)GPU之間存在20倍的巨大功耗效率優(yōu)勢(shì)。
圖3：CEVA-XM4 與移動(dòng)GPU功耗效率對(duì)比——越高越好
CEVA-XM4圖像IP廣泛適用于三個(gè)視覺(jué)領(lǐng)域：圖像采集、圖像處理和視覺(jué)感知。圖像采集包括3D視覺(jué)、圖像降噪和深度圖生成等功能。圖像處理則與計(jì)算圖像學(xué)功能相關(guān)，例如圖像穩(wěn)定、低光照?qǐng)D像增強(qiáng)、圖像縮放、多幀和多傳感器超分辯率合成。最后，視覺(jué)感知能夠執(zhí)行目標(biāo)物體識(shí)別與追蹤、視頻分析、增強(qiáng)現(xiàn)實(shí)和用于自然用戶(hù)界面（NUI）的人臉、手勢(shì)和情緒識(shí)別等功能。
圖4: CEVA-XM4支持的視覺(jué)領(lǐng)域
CNN時(shí)代的XM4XM4視覺(jué)處理器支持的算法包括實(shí)時(shí)3D深度圖生成、用于3D掃描的點(diǎn)云處理以及目標(biāo)與圖像識(shí)別，范圍包括Haar、LBP和ORB，直至卷積神經(jīng)網(wǎng)絡(luò)(CNN, DNN)等神經(jīng)網(wǎng)絡(luò)技術(shù)的深度學(xué)習(xí)算法。此外，XM4對(duì)計(jì)算圖像學(xué)算法的支持包括重對(duì)焦、背景替換、圖像縮放、圖像穩(wěn)定、HDR、圖像降噪和低光照?qǐng)D像增強(qiáng)功能。
相關(guān)閱讀：
簡(jiǎn)述GPU作用原理及對(duì)比分析CPU和DSP
揭秘新iPad八核GPU內(nèi)部結(jié)構(gòu)，如何比iPhone 6強(qiáng)？
頂尖工程師分享：FPGA的GPU原型優(yōu)化設(shè)計(jì)方案
