視覺處理是最近兩年最火最受關(guān)注的技術(shù)之一，市場調(diào)研公司ABI Research、InSight Media等多家公司的數(shù)據(jù)顯示，視覺處理系統(tǒng)的市場到2020年將超過3000億美元，年復(fù)合增長率超過35%，主要應(yīng)用在包括汽車安全、圖像偵測、視頻監(jiān)控和手勢識別游戲操控等。

　　fig.1 視覺處理市場增長預(yù)期到2020年將超過3000億美元。

　　電子工程專輯記者邵樂峰的文章《揭秘谷歌Tango計劃背后的芯片巨人》一文中介紹了一家號稱將有可能改變世界的芯片公司，本文將會介紹由Synopsys公司最新推出的嵌入式視覺處理器IP。 Synopsys DesignWare ARC處理器高級產(chǎn)品營銷經(jīng)理Mike Thompson介紹了一款新開發(fā)的可編輯和可配置的IP，可以提供比通過CPU、移動GPU和DSP等更高的視覺處理效率，同時它還可以通過自我學(xué)習(xí)與培訓(xùn)，實現(xiàn)在更多應(yīng)用領(lǐng)域更精確的視覺處理能力。

　　fig.2 Synopsys DesignWare ARC處理器高級產(chǎn)品營銷經(jīng)理Mike Thompson

　　為什么需要嵌入式視覺處理？

　　Mike Thompson認為，目前現(xiàn)有的視覺處理應(yīng)用，包括智能監(jiān)控、生物識別和機器視覺，以及基于云處理的城市監(jiān)控技術(shù)，都是基于非常強大的CPU硬件和帶操作系統(tǒng)的軟件處理的視覺處理，盡管處理能力很強大，但同時消耗的功耗非常大，處理的響應(yīng)較慢。而一些特別的應(yīng)用，例如車載的交通信號識別、人臉識別和手勢識別，則要求低功耗且能即時響應(yīng)，這些新的應(yīng)用，需要市場能夠提供的處理器IP，來設(shè)計研發(fā)出新的SoC或處理器。

　　fig.3 與CPU、GPU和DSP相比，SNPS EV處理器的視覺處理效率高出很多

　　雖然視覺算法可以在大多數(shù)處理器上運行，但是這類算法牽涉到許多的復(fù)雜數(shù)學(xué)運算和數(shù)據(jù)遷移。通用處理器（GPP）可以用來做視覺處理，但是這樣的處理器缺少復(fù)雜數(shù)學(xué)運算資源，運行起來速度會非常慢。在一些視覺應(yīng)用中，采用的圖形處理器（GPU）雖然具有許多的運算資源，但是卻缺乏高效移動視覺數(shù)據(jù)的能力，因此其視覺性能相對較低，并且其功耗也非常的高。視覺處理器是專為視覺處理而設(shè)計，因此它們擁有所需的復(fù)雜數(shù)學(xué)運算能力，并且它們還具有精密的數(shù)據(jù)遷移能力，能夠有效地處理視覺幀數(shù)據(jù)。此外，要能夠在嵌入式視覺應(yīng)用中得到使用，它們也需要滿足低功耗要求。

　　“在包括安全設(shè)備、游戲設(shè)備和汽車電子等諸多產(chǎn)品中，嵌入式系統(tǒng)從各種視覺輸入中提取觀測結(jié)果的能力正在變得越來越重要，這正是對擁有更高性能和更高能效的視覺處理功能的驅(qū)動性需求，”嵌入式視覺聯(lián)盟（Embedded Vision Alliance）創(chuàng)始人Jeff Bier表示。“像Synopsys的DesignWare EV處理器這樣的專用處理器可以幫助設(shè)計人員為其視覺應(yīng)用實現(xiàn)想要的性能，而同時僅需適用于便攜式設(shè)備的功耗等級。”

　　如何突破精度的瓶頸？

　　Synopsys公司近日對外發(fā)布了全新DesignWare EV視覺處理器產(chǎn)品。該系列的EV52和EV54視覺處理器是完全可編程和可配置的視覺處理器IP核，它們結(jié)合了軟件解決方案的靈活性與專用硬件的低成本和低功耗特性。

　　fig.4 Synopsys DesignWare ARC嵌入式視覺處理器家族的技術(shù)原理圖，內(nèi)嵌4個RISC CPU和2至8個E（processing element)。

　　上面這張圖實際上是實現(xiàn)高效實時處理的關(guān)鍵：多個可并行、獨立運算的PE可快速進行目標檢測，即運行卷積神經(jīng)網(wǎng)絡(luò)（CNN）等算法，而且所有的RISC和PE單元均可編程配置。

　　Synopsys DesignWare ARC處理器高級產(chǎn)品營銷經(jīng)理Mike Thompson在媒體見面會上對電子工程專輯記者說，EV處理器以超過1000GOPS/W的性能實現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)（CNN），從而能夠僅以其他視覺解決方案的一小部分功耗，實現(xiàn)對諸如面部、行人和手勢等多樣化的目標快速而準確的監(jiān)測。

　　Mike表示， EV處理器系列得到了基于OpenCV和OpenVX等現(xiàn)有和新興的嵌入式視覺標準，以及Synopsys的MetaWare開發(fā)工具包的綜合性軟件編程環(huán)境的支持。通過把專為視覺數(shù)據(jù)處理而優(yōu)化的高性能硬件與高效編程工具結(jié)合在一起， EV處理器成為了各種嵌入式視覺應(yīng)用的一種理想解決方案，包括視頻監(jiān)控、手勢識別和目標監(jiān)測等應(yīng)用。

　　據(jù)Mike Thompson介紹，Synopsys從2012年開始開發(fā)DesignWare ARC嵌入式視覺處理器，一開始其識別率就達到了85%，如果是通過更好的CNN模型和不斷培訓(xùn)，準確率還可以更高。“2015年谷歌微軟的視覺識別精度是95%，但那是通過服務(wù)器云處理實現(xiàn)的。如果經(jīng)過更多的CNN的培訓(xùn)，我們的解決方案的精度甚至可能更高。”Mike 說。“它就像是人的眼睛和大腦，剛開始看到一樣?xùn)|西時，你可能會認不出來，但如果你天天都不斷地去看，識別的準確率就會很高。”

　　EV處理器系列包含多個高性能處理內(nèi)核，可在典型的28nm工藝技術(shù)中實現(xiàn)高達1GHz的運行速率。EV處理器系列也實現(xiàn)了一種前饋卷積神經(jīng)網(wǎng)絡(luò)（CNN）結(jié)構(gòu)，它支持一個可編程的點對點串流互連網(wǎng)絡(luò)，以用于快速和準確的目標監(jiān)測這一視覺處理的關(guān)鍵任務(wù)。執(zhí)行單元處理器的數(shù)量可配置，開發(fā)人員能夠在視覺應(yīng)用中利用通用的任務(wù)級和數(shù)據(jù)級并行處理功能，去執(zhí)行復(fù)雜的圖像和視頻識別算法，同時僅消耗市場上其它可用視覺處理器五分之一的功耗。

　　高生產(chǎn)率的編程工具

　　在開發(fā)方面，Synopsys提供了一個完整的、包括OpenVX和OpenCV庫、以及Synopsys的MetaWare開發(fā)工具包的軟件編程環(huán)境，簡化了Synopsys EV處理器系列的應(yīng)用軟件開發(fā)?？捎糜贓V處理器的OpenCV源程序視覺庫提供了用于實時計算機視覺的2500多種功能。

　　這些處理器都是可編程的，同時可以被“訓(xùn)練”從而支持任何監(jiān)測目標圖形。OpenVX框架包括43個標準計算機視覺內(nèi)核， 它們已專為運行在EV處理器上而進行了諸如邊緣監(jiān)測、圖像金字塔創(chuàng)建和光流估計等優(yōu)化。用戶們也可定義新的OpenVX內(nèi)核（kernel），為其目前的視覺應(yīng)用帶來靈活性，同時滿足未來目標監(jiān)測的需求。OpenVX內(nèi)核可以在運行時分配給EV處理器的多個單元執(zhí)行，從而簡化了處理器的編程。完整的工具套件和源程序庫、以及可提供的參考設(shè)計使得設(shè)計人員能夠高效的構(gòu)建、調(diào)試、評估和優(yōu)化其嵌入式視覺系統(tǒng)。

　　更方便地集成進SoC中

　　EV處理器專為無縫地集成到SoC中而設(shè)計。他們可與任何的主處理器搭配使用并與其并行工作。EV系列通過信息傳遞和中斷來支持與主處理器的同步。此外，EV處理器的內(nèi)存可映射到主處理器。這些特點使得主處理器能夠保持控制，同時使所有的視覺處理都能夠被卸載到EV處理器上，這樣可降低功耗并且加速結(jié)果呈現(xiàn)。EV處理器可以存取儲存在SoC內(nèi)存映射區(qū)域內(nèi)的數(shù)據(jù)，或在需要的情況下，通過ARM AMBA AXIT標準系統(tǒng)接口獨立地存取芯片外數(shù)據(jù)源提供的圖像數(shù)據(jù)。

　　fig.5 Synopsys的嵌入式處理器的目標應(yīng)用市場

　　“嵌入式視覺正在從視頻監(jiān)控到消費性產(chǎn)品和游戲設(shè)備等一系列多樣化的應(yīng)用中推動創(chuàng)新，” Synopsys DesignWare ARC處理器高級產(chǎn)品營銷經(jīng)理Mike Thompson表示。“Synopsys的全新EV處理器系列提供完美的目標監(jiān)測精度和5倍的功效優(yōu)化，同時提供了一個全面的視覺程序庫和一個強大的軟件編程環(huán)境的支持。這種結(jié)合使設(shè)計團隊能夠把嵌入式視覺功能更快地集成到更多的系統(tǒng)中，同時功耗比現(xiàn)有的解決方案大大降低。”

　　DesignWare EV52和EV54處理器計劃于2015年5月供貨。目前Synopsys還免費為客戶提供人臉識別、交通信號的速度識別、智能視頻監(jiān)控的人臉識別和人臉跟蹤等參考設(shè)計。相信很快，集成了EV52和EV54處理器的SoC，將有望進入市場，幫助客戶提供在視覺處理方面的更佳體驗。

　　“最終應(yīng)用包括攝像頭、可穿戴設(shè)備、家庭自動化、數(shù)字電視、虛擬現(xiàn)實、游戲設(shè)備、機器人、數(shù)字顯示屏、醫(yī)療電子以及汽車信息娛樂系統(tǒng)等。”Mike說，

　　名詞解釋：什么是CNN（Convolutional neural network) ？

　　卷積神經(jīng)網(wǎng)絡(luò)（CNN）模擬我們大腦處理視覺時的工作狀態(tài)。它們將圖像分解成若干部分，并逐步找到其被訓(xùn)練去識別的目標。CNN已經(jīng)存在了20多年，但直到近年這些算法才有了實質(zhì)上的改進，并且目前在目標識別方面較其他可用算法甚至是人類專家更好。CNN是一種深度學(xué)習(xí)算法，其訓(xùn)練方式與我們的大腦采用目標的多幅圖像來進行訓(xùn)練差不多，它基于這些圖像歸納出能夠被算法利用、用以在圖片或視頻中找到目標的一幅圖形。

　　Nvidia、CEVA、Microsoft以及其他公司近期的發(fā)布強調(diào)了嵌入式視覺向CNN的遷移。其實，Microsoft和Google最近都已在高端應(yīng)用中采用了CNN，其所得的精度超過了95%，較人類專家還要更高。CNN目前是獲取高質(zhì)量和高精度結(jié)果的最佳視覺算法，其性能比Viola-Jones、HOG、SIFT和SURF等其他算法更勝一籌。