今天我講講和人工視覺有關(guān)的問題,我們現(xiàn)在需要一場(chǎng)革命,把現(xiàn)在的攝像頭顛覆掉,按照類腦的方式做一個(gè)新的攝像頭,做一個(gè)新的視覺系統(tǒng),這個(gè)就是我想跟大家分享的。
為什么我們要考慮類腦?因?yàn)樯锏囊曈X系統(tǒng)經(jīng)過幾億年的進(jìn)化現(xiàn)在做得比較合理,而我們現(xiàn)在人工的視覺系統(tǒng)才進(jìn)化了幾十年,和人類和生物比起來確實(shí)非常小兒科,如果我們想要快速趕上人的視覺系統(tǒng)的功能就要向生物學(xué)習(xí)。我們回顧一下生物進(jìn)化系統(tǒng)整個(gè)進(jìn)化的簡(jiǎn)單歷史,看看計(jì)算怎么通過學(xué)習(xí)生物系統(tǒng)進(jìn)化的優(yōu)點(diǎn)達(dá)到我們希望達(dá)到的境地,我們把這個(gè)鏡子叫做數(shù)字視網(wǎng)膜。
如何做一個(gè)類腦系統(tǒng)?
現(xiàn)在很多場(chǎng)合講數(shù)字大腦、城市大腦、企業(yè)大腦,各種各樣的腦都有,把很多數(shù)據(jù)從傳感器收集上來以后送到云端,云再通過計(jì)算進(jìn)行決策,這就是一個(gè)大腦。看起來有點(diǎn)像人的大腦,比如現(xiàn)在視頻監(jiān)控在城市里安了各種各樣的攝像頭,馬路上的、停車口的、公共場(chǎng)所里的,這些攝像頭抓到數(shù)據(jù)以后都存到不同的地方,最后匯總到云端,希望云端能進(jìn)行計(jì)算,這樣一個(gè)系統(tǒng)就是我們今天所謂的城市大腦的感知與計(jì)算系統(tǒng),這個(gè)系統(tǒng)里各種各樣不同的攝像頭,攝像頭有的做視頻編碼,抓到視頻編碼以后送回去,有的做一些車牌號(hào)識(shí)別、人的識(shí)別,不管怎么樣都把這個(gè)通過一個(gè)網(wǎng)絡(luò)送到云端,云端要么就是做存儲(chǔ),前面是做存儲(chǔ)放存儲(chǔ)器,要么是當(dāng)你需要的時(shí)候把存的東西解開,在里面進(jìn)行分析和識(shí)別。
我們希望將來能通過一個(gè)類似于人類大腦的功能體把它替代掉,使得系統(tǒng)更智能一點(diǎn)。當(dāng)然這個(gè)系統(tǒng)要考慮到任何一個(gè)城市都不是幾個(gè)攝像頭,既不是兩個(gè)攝像頭也不是二十個(gè)攝像頭,可能是幾萬個(gè)幾十萬個(gè),這么大規(guī)模的攝像頭網(wǎng)絡(luò)系統(tǒng)對(duì)于腦應(yīng)該怎么布置,怎么做的智能化,這是非常有挑戰(zhàn)性的事情。要想做好這件事,眼睛和腦要協(xié)調(diào)工作,而不是現(xiàn)在眼睛是眼睛腦是腦。
人腦做得好,為什么人腦做得好?因?yàn)槿四X有非常嚴(yán)密的分工,在長(zhǎng)期進(jìn)化過程中不同的部分干不同的事,最后形成決策又統(tǒng)一形成決策,看起來非常復(fù)雜但是又非常協(xié)調(diào),很多科學(xué)家很多科學(xué)體都在想法做出一些計(jì)劃來仿真模擬人的大腦,比如前幾年歐洲專門有一個(gè)人腦計(jì)劃,最近我們國(guó)內(nèi)也有相應(yīng)的各種各樣的計(jì)劃,都是希望云系統(tǒng)將來能像大腦一樣工作。要想把眼睛和腦統(tǒng)合起來工作,現(xiàn)有的系統(tǒng)有攝像頭,攝像頭負(fù)責(zé)圖像的采集,有的攝像頭可以做一點(diǎn)識(shí)別,大多數(shù)攝像頭不能做識(shí)別,識(shí)別的任務(wù)就是要到云端進(jìn)行特征的提取進(jìn)行模擬識(shí)別進(jìn)行場(chǎng)景識(shí)別,主要工作都是在無處不在的云里。
如果做成一個(gè)類腦,是不是這樣做就行?很顯然不行,如果真的做成一個(gè)類腦的系統(tǒng),有很多感知、建模的工作要先做,不是什么東西都扔到云上讓云去算就行了,而是整個(gè)過程要考慮哪些工作應(yīng)該由攝像頭來做,哪些工作應(yīng)該由攝像頭到云之間的網(wǎng)絡(luò)由哪些部件來做,哪些東西可以在云里面做,云里又進(jìn)行特征提取特征匯總,有些做模式識(shí)別,有些進(jìn)行上下文理解,所有這些林林總總我們都可以用今天的深度學(xué)習(xí)?,F(xiàn)在的人工智能確實(shí)給我們做類腦這個(gè)工程提供了非常好的工具。
開始我就在說現(xiàn)在的人工視覺系統(tǒng)進(jìn)化得級(jí)別非常低,現(xiàn)在的人工視覺系統(tǒng)最主要的視覺傳感器是攝像頭,攝像頭的工作機(jī)理對(duì)一個(gè)自然場(chǎng)景通過均勻采樣的方式獲得數(shù)據(jù),它要一幀一幀的把圖像數(shù)據(jù)采集下來,采集數(shù)據(jù)的時(shí)候這一幀所有數(shù)據(jù)是等步長(zhǎng)的完全平均的,每一個(gè)像素和像素之間的距離是相等的,每一個(gè)像素所用的比特?cái)?shù)是相等的,這是完全均勻的采樣。如果你要是視頻1秒鐘要采20幀、25幀,采多少幀是均勻的,采20幀是1/20秒采一次,這種方式從工程上來講是最簡(jiǎn)單最好實(shí)現(xiàn)的方式,但是這種方式給我們帶來大量的問題,有很多數(shù)據(jù)都是冗余的。
我們今天為什么要進(jìn)行視頻壓縮?就是因?yàn)槲覀冞@種采樣方式使得你必須要對(duì)沒有用的數(shù)據(jù)進(jìn)行壓縮,能壓縮多少,現(xiàn)在一般的技術(shù)能壓縮到1/300,最好的技術(shù)能壓縮到1/600,現(xiàn)在做視頻壓縮的希望下一個(gè)目標(biāo)能達(dá)到1/1000,空間上的均勻采樣和時(shí)間上的均勻采樣帶來了大量的數(shù)據(jù)冗余,這些冗余是沒有用的可以壓縮掉的,但是目前即使壓縮了這個(gè)數(shù)據(jù)被推到云端以后云端拿到的還是沒有任何需要注意的一堆數(shù)據(jù),現(xiàn)在的云在做非常低級(jí)的無效的工作,效率很低的工作,大概有90%幾的工作都是沒有效的,只有百分之幾的工作是有效的,我們有沒有辦法讓云端做的工作絕大多數(shù)有效,而不是今天這樣絕大多數(shù)沒有效,這是我們的目標(biāo)。
生物視覺的進(jìn)化歷程
看一下整個(gè)生命進(jìn)化的歷史,寒武紀(jì)之前是一個(gè)混沌時(shí)間,從寒武紀(jì)開始寒武紀(jì)進(jìn)入古生代以后生命慢慢的像今天我們看到的生命在進(jìn)行演化。從寒武紀(jì)開始生物界開始分流了,開始有了魚,慢慢從魚到了中生代,從侏羅紀(jì)時(shí)代,那個(gè)時(shí)代地球非常溫暖,植物非常高大,各種各樣的生物非常多,這個(gè)分化慢慢的造成了我們今天通過優(yōu)勝劣汰留下了很多生命。但是在整個(gè)哺乳動(dòng)物的生命形成中侏羅紀(jì)是最關(guān)鍵的時(shí)代,那個(gè)時(shí)代形成的東西,今天如果那個(gè)物種留下了它的系統(tǒng)就留下了。所以我們說在哺乳動(dòng)物的演進(jìn)形成實(shí)際是侏羅紀(jì)時(shí)代的產(chǎn)物。的的視覺系統(tǒng),侏羅紀(jì)時(shí)代是沒有人的,那時(shí)候有龍,天上飛的恐龍路上跑的恐龍水里游的恐龍,一直到新生代第四級(jí),這時(shí)候大概在300萬年前左右,魚類慢慢有了魚類的分支,最后變成了陸上的爬行動(dòng)物,從陸上的爬行動(dòng)物又開始分化,最后有一個(gè)分支變成了猴子,它再進(jìn)行分化最后有一個(gè)分支變成了人。
其實(shí)人類的視覺系統(tǒng)大概是300萬年前形成,我們今天的眼睛腦的分工和形成都是300萬年前形成的。整個(gè)脊椎動(dòng)物演進(jìn)進(jìn)化的歷史都是從最早先的根本沒有眼的古生物慢慢到對(duì)光有感光蛋白的生物,到形成了眼瞼,最后慢慢形成了兩層的眼睛的神經(jīng)原,到形成了視網(wǎng)膜的三層神經(jīng)原,一直到真正高級(jí)的脊椎動(dòng)物。整個(gè)進(jìn)化歷史就是從最早先的眼睛其實(shí)只是一個(gè)點(diǎn),眼睛的出現(xiàn)是非常神奇的事情,在蛋白構(gòu)成的生物里突然有一個(gè)點(diǎn)能夠感光是很神奇的。慢慢的眼睛進(jìn)化變成了三角渦蟲,本身頭部就帶著眼睛,這是進(jìn)化的產(chǎn)物。
眼睛的進(jìn)化從最早先的感光細(xì)胞到后來簡(jiǎn)單的眼睛、稍微復(fù)雜的眼睛,稍微復(fù)雜的眼睛里面是充水的,充水的洞被密封起來灌上了細(xì)胞液,細(xì)胞液又造上了晶狀體有角膜一直到了今天的眼睛,演化的進(jìn)化歷史是非常長(zhǎng)久的歷史。有的生命體的眼睛是另外的樣子有的是我們這個(gè)樣子,眼睛的出現(xiàn)有兩個(gè)目的驅(qū)動(dòng)了眼睛慢慢出現(xiàn),一個(gè)目的是覓食,生物體要覓食,要用眼睛去看食物在哪里。第二個(gè)功能是逃生,要看天敵在哪里,天敵來了要跑掉才能存活下來。為了覓食和逃生慢慢的眼睛開始進(jìn)化。從最早先的感光的眼睛只是一個(gè)蛋白體,慢慢有多個(gè)蛋白體,不同的生命體采用了不同的進(jìn)化路徑,有的從最早先的單個(gè)慢慢越來越復(fù)雜,復(fù)雜的時(shí)候有的用多個(gè)簡(jiǎn)單的眼有的用單個(gè)復(fù)雜的眼。我們知道昆蟲里蜜蜂和蒼蠅的眼睛,還有其他很多昆蟲是復(fù)眼,每個(gè)眼睛非常簡(jiǎn)單,但是所有眼睛組合在一起就能夠非常容易看得見運(yùn)動(dòng)的物體,越接近的時(shí)候刺激越強(qiáng)烈。比如你要弄一個(gè)東西去晃蒼蠅蜜蜂它立刻就飛了,就是因?yàn)樗难劬κ沁@樣的結(jié)構(gòu)。因?yàn)樗總€(gè)眼睛很簡(jiǎn)單,所以它在發(fā)現(xiàn)天敵方面是有優(yōu)勢(shì)的,但是它在發(fā)現(xiàn)食物方面沒有優(yōu)勢(shì),所以很多昆蟲最后對(duì)食物的發(fā)現(xiàn)變成了使用嗅覺而不是用眼睛完成。
魚是另外一條路線,我們都是從魚進(jìn)化來的,魚的眼睛早期的時(shí)候也是為了覓食和躲避天敵,魚的眼睛根據(jù)魚的形狀有的是在兩側(cè)有的是在頭上,都是為了這兩個(gè)目的。魚眼睛在進(jìn)化過程中神經(jīng)系統(tǒng)比我們?nèi)说纳窠?jīng)系統(tǒng)來得更簡(jiǎn)單一點(diǎn),但是控制比我們稍微復(fù)雜一點(diǎn),魚眼睛有的時(shí)候會(huì)突然翻白,那是它要看東西的時(shí)候有的動(dòng)作。
鳥的眼睛也是根據(jù)不同的進(jìn)化路徑,進(jìn)化的路徑不一樣,因?yàn)轼B本身個(gè)子比較小,所以需要節(jié)省最多的能量。鳥的眼皮一樣和我們一樣有保護(hù),但是眼睛更多的動(dòng)作是靠脖子在動(dòng),鳥和我們的路徑是比較接近的,因?yàn)樗谶M(jìn)化過程中由于個(gè)體等方面的約束,鳥的眼睛的功能看遠(yuǎn)視是非常厲害的,看近的不見得有人那么厲害,對(duì)于細(xì)節(jié)的分辨不如其他高級(jí)的脊椎動(dòng)物。高級(jí)的脊椎動(dòng)物整個(gè)生物系統(tǒng)的眼睛就是這樣的,有兩只眼睛,一個(gè)負(fù)責(zé)信息傳導(dǎo)的,然后是腦子,負(fù)責(zé)把前面的信息到后面進(jìn)行處理以及對(duì)以往的知識(shí)進(jìn)行存儲(chǔ),這是整個(gè)生物的視覺系統(tǒng)。眼睛視覺通路和大腦視力是三個(gè)最主要的部分。
人類比其他動(dòng)物更高級(jí)的地方是它對(duì)于感知對(duì)于高級(jí)的行為要比其他動(dòng)物更豐富一點(diǎn),所以整個(gè)腦區(qū)的分工也更詳細(xì),關(guān)于視覺在腦區(qū)當(dāng)中很多部分都有不同的視覺眼,有V1眼、V2眼一直到V8眼,不同的部分負(fù)責(zé)不同的行為。這些眼合作起來完成今天所有對(duì)視覺的分析、理解,從視網(wǎng)膜開始到大腦相應(yīng)的地方。有人會(huì)問大腦的像,這個(gè)人的人臉到底放在大腦的什么部位?這個(gè)復(fù)雜的體系從視網(wǎng)膜接到光刺激形成一個(gè)圖像以后,整個(gè)圖像的形成只有50毫秒就形成了,但是它會(huì)花不同的時(shí)間送到不同的部位,最后產(chǎn)生了不同的效果。
這是整個(gè)生物的視覺系統(tǒng)進(jìn)化,生物系統(tǒng)比較關(guān)鍵的是視網(wǎng)膜、信息通道和腦區(qū),這是三個(gè)非常關(guān)鍵的。我們能從生物系統(tǒng)里學(xué)到如果想構(gòu)造一個(gè)比較理想的人工視覺系統(tǒng)或類腦視覺系統(tǒng),生物力有眼睛,我們現(xiàn)在有攝像頭,沒有問題,但是生物里面眼睛有很多感知功能,我們今天的攝像頭是沒有的,生物里面有信息傳輸通道,它在信息傳輸通道中是進(jìn)行信息處理的,但是我們今天的攝像機(jī)網(wǎng)絡(luò)的傳輸通道不負(fù)責(zé)任何信息的處理,就是單純的把東西送過去,我們的大腦視野做圖象識(shí)別的時(shí)候有自頂向下和自底向上的過程,我們今天的云平臺(tái)基本就是一個(gè)方向,這是今天我們想學(xué)生物系統(tǒng)需要改進(jìn)的地方。
人工視覺系統(tǒng)的革新之路
今天的攝像頭網(wǎng)絡(luò)或監(jiān)控系統(tǒng)因?yàn)槭堑炔介L(zhǎng)采樣帶來了大量的時(shí)間和空間的冗余,為了傳輸省事把它壓縮了送到了云端,但是云端接收的所有信息都是沒有進(jìn)行處理的,都是原始數(shù)據(jù),把所有任務(wù)都丟給云是非常錯(cuò)誤的做法。這就是問題的根源,人看一個(gè)東西之所以這么高效,我們會(huì)快速發(fā)現(xiàn)目標(biāo)一直跟著它看,我們并不是把所有的像素都送到大腦里去處理,而是從視網(wǎng)膜到傳輸通道到腦一起聯(lián)合工作,盯死一個(gè)目標(biāo)。這個(gè)性能怎么樣搬到今天的攝像機(jī)系統(tǒng)里,這是我們面臨的問題。
打個(gè)比喻現(xiàn)有的攝像頭加上人工視頻系統(tǒng)相當(dāng)于生命進(jìn)化過程中哪個(gè)階段,我可以告訴你它相當(dāng)于是5.4億年前的階段,非常古老的系統(tǒng)。這個(gè)階段顯然是我們所不能忍受的,今天有這么強(qiáng)的計(jì)算能力,我們希望整個(gè)眼睛視頻系統(tǒng)也能跟得上這個(gè)進(jìn)度,我們希望做出一個(gè)理想的視覺系統(tǒng),為了這個(gè)我們必須找到革命的方式改革的方式把現(xiàn)在的攝像頭系統(tǒng)顛覆掉。
怎么顛覆呢?我提出了兩個(gè)可能的技術(shù)路徑。第一是數(shù)字視網(wǎng)膜技術(shù)路線,除了常規(guī)的視頻編碼以外還要做特征編碼、組塊編碼、時(shí)空編碼,時(shí)空編碼是常規(guī)的。這是基于現(xiàn)有系統(tǒng),攝像頭不需要換,攝像頭后面的芯片換掉,芯片上做很多事最后就能達(dá)到這個(gè)功能。最理想的是連攝像頭前面采集的功能模式都換掉,加上一個(gè)助力采樣我們叫做脈沖工作方式,如果那個(gè)做到了就和人眼對(duì)于目標(biāo)發(fā)現(xiàn)非常接近了,這是兩個(gè)系統(tǒng)。和這個(gè)相對(duì)應(yīng)的,人類從嬰兒開始發(fā)育的過程中一個(gè)正常人可以看東西、發(fā)現(xiàn)目標(biāo)、和別人進(jìn)行交流,但是在整個(gè)進(jìn)化當(dāng)中會(huì)有一些人發(fā)育得不完全,會(huì)得一些病,有的小孩得了自閉癥,有的小孩得了癲癇病,有的小孩得了弱視癥,這是一些什么毛???相當(dāng)于今天系統(tǒng)的什么樣子?因?yàn)閶雰旱纳窠?jīng)系統(tǒng)發(fā)育一共有10的11次方這么多個(gè)神經(jīng)原,但是所有和神經(jīng)原聯(lián)系的有10的14次方,神經(jīng)原是計(jì)算節(jié)點(diǎn),10的14次方個(gè)網(wǎng)絡(luò)連接到10的11次方這么多的計(jì)算單元,這里頭縮減哪里去了?我們叫剪切剪輯修剪。這個(gè)修剪是小孩在發(fā)育過程中通過學(xué)習(xí)不斷完成的,0到2歲這段時(shí)間嬰兒的視覺網(wǎng)絡(luò)、聽覺網(wǎng)絡(luò)慢慢形成了,眼睛視網(wǎng)膜后面和耳蝸后面的神經(jīng)生出來的時(shí)候是全連接,慢慢隨著不斷學(xué)習(xí)進(jìn)化,有一些被剪掉了,只留下那些有用的增強(qiáng)變粗了,這就開始正常工作了,這是正常的。
1到6歲嬰兒完成的是語(yǔ)言網(wǎng)絡(luò)的形成,語(yǔ)言網(wǎng)絡(luò)形成以后就可以講話可以使用不同的語(yǔ)言,這段時(shí)間如果發(fā)生了疾病或者環(huán)境和整個(gè)進(jìn)化不匹配的話就會(huì)生病。自閉癥是什么毛病呢?剛才在神經(jīng)網(wǎng)絡(luò)修剪的時(shí)候自閉癥是剪得不夠、連接太多,他可以對(duì)每個(gè)細(xì)節(jié)看得很細(xì)但是沒有注意,所以他沒有和正常人進(jìn)行溝通。癲癇癥是剪過分了,稍微有點(diǎn)刺激馬上就發(fā)放,點(diǎn)火發(fā)放然后就瘋掉了。弱視是兩個(gè)眼睛看東西的時(shí)候,我們平時(shí)在發(fā)育的時(shí)候兩個(gè)眼睛是競(jìng)爭(zhēng)的,互相配合著做,弱視是老用一個(gè)眼睛看東西,那條通道就非常通暢。正常人的視覺,當(dāng)你給他左右眼兩個(gè)不同的條文刺激的時(shí)候,他通過視網(wǎng)膜皮層的單眼細(xì)胞雙眼細(xì)胞進(jìn)入到意識(shí)里是一個(gè)競(jìng)爭(zhēng)關(guān)系,左右眼雖然看著是不一樣的,但是最后在腦子里形成意識(shí)的你可能看的是兩個(gè)之一或者兩個(gè)都模糊重疊,這是正常的視覺通道。弱視是有一條視覺通道的發(fā)育不完整,有一條是正常的有一條變成虛線了,不完整這條當(dāng)你給它刺激之后以后那條主導(dǎo)眼會(huì)把東西送過去,非主導(dǎo)眼看不見,這個(gè)是有問題的,這個(gè)毛病使得這個(gè)小孩長(zhǎng)大以后深度感覺比較弱。
我們今天的視覺系統(tǒng)有兩個(gè)毛病,第一個(gè)毛病是自閉癥,今天的視覺系統(tǒng)送出去的信息是完完整整的推回去了,沒有進(jìn)行網(wǎng)絡(luò)的修剪,今天的網(wǎng)絡(luò)就是自閉癥的城市大腦網(wǎng)絡(luò)。做邊緣計(jì)算攝像頭上識(shí)別出來這個(gè)車牌號(hào)是多少,是張三還是李四,某些攝像頭功能特別強(qiáng)的時(shí)候弱視會(huì)丟一些東西,所以今天的網(wǎng)絡(luò)兩大特點(diǎn),自閉癥弱視,要想改變這個(gè)問題怎么辦呢?就是剛才我說的我們要把它顛覆掉。怎么顛覆呢?首先我們?cè)O(shè)計(jì)一個(gè)新的體系,數(shù)字視網(wǎng)膜,要進(jìn)行編碼、特征編碼、合優(yōu)化,達(dá)到軟件可定義,軟件可定義完成什么功能呢?是視覺通道的功能,視覺通道通過軟件定義的方式修改修剪的東西,這樣就使得前面特征進(jìn)來了以后通過視覺通道把不那么重要的信息修剪掉最后再送到云端進(jìn)行識(shí)別,這是一個(gè)基本的數(shù)字視網(wǎng)膜的概念。這個(gè)概念要想實(shí)現(xiàn),最關(guān)鍵的兩塊東西,一個(gè)是特征編碼,一個(gè)是軟件可定義,這是最關(guān)鍵的,視頻編碼原來就在。軟件可定義就是要做視覺通道上的修剪。
這是一個(gè)弱視的網(wǎng)絡(luò),為了做這件事這些年我們一直在單向基礎(chǔ)上做這些工作,不是我們,國(guó)內(nèi)國(guó)外很多行當(dāng)內(nèi)的專家都在做,高效數(shù)字編碼我們提出了場(chǎng)景建模的方式,使得編碼效率最高,已經(jīng)變成了國(guó)家標(biāo)準(zhǔn)。特征編碼,視網(wǎng)膜上抓的東西把有用的東西識(shí)別性的東西,不是識(shí)別結(jié)果,把它封裝起來送到云端,準(zhǔn)備做識(shí)別,我們把這個(gè)叫特征編碼,有一套編碼方式。有了視頻編碼和特征編碼,這兩個(gè)編碼要協(xié)調(diào),我們叫做聯(lián)合優(yōu)化,所以要做一個(gè)聯(lián)合優(yōu)化技術(shù)對(duì)它進(jìn)行優(yōu)化。今天王恩東院士對(duì)硬件怎么實(shí)現(xiàn)有興趣,剛才是新的數(shù)字視網(wǎng)膜體系有很多實(shí)現(xiàn)方式,最簡(jiǎn)單的就是現(xiàn)有的SOC加上FPGA實(shí)現(xiàn),中期的可以用GPU實(shí)現(xiàn),遠(yuǎn)期的我們希望做一些專用的ISP實(shí)現(xiàn),這都需要團(tuán)隊(duì)投入來做,現(xiàn)在已經(jīng)有一個(gè)團(tuán)隊(duì)在做,這是用英偉達(dá)的GPU做了數(shù)字視網(wǎng)膜的方案,現(xiàn)在已經(jīng)在做小批量的實(shí)驗(yàn),這個(gè)實(shí)驗(yàn)是在濟(jì)南浪潮園區(qū)做。
第一階段慢慢一段時(shí)間以后就是一個(gè)革命性的第一步工作,第二步工作是類腦數(shù)字視網(wǎng)膜,這是北京大學(xué)王教授的團(tuán)隊(duì)在采用脈沖的方式做的數(shù)字視網(wǎng)膜的實(shí)現(xiàn),為什么是脈沖的方式?脈沖陣列編碼可以使送進(jìn)去的信息不是等長(zhǎng)的采樣而是只有有效的信息才被往后送,這樣就可以進(jìn)行比較高效的處理,傳統(tǒng)的東西都是有用的,這個(gè)方法已經(jīng)做了很簡(jiǎn)單的最初期的實(shí)驗(yàn),用一顆400×200分辨率的芯片做工作,這是用這個(gè)芯片做的演示系統(tǒng),轉(zhuǎn)得非???,一分鐘轉(zhuǎn)7200轉(zhuǎn)的光盤頂上有個(gè)字母A,左邊是用攝像頭拍的東西,人的肉眼根本分辨不出來字母A,但是用他這套系統(tǒng)能看得清楚數(shù)字A在轉(zhuǎn)。這是要想做一個(gè)對(duì)現(xiàn)有的視頻系統(tǒng)進(jìn)行改造改革的話通過數(shù)字視網(wǎng)膜是一個(gè)方式,我比較理想化,中間的演進(jìn)過程是不是一定這樣,要看工業(yè)界花多大成本多大氣力做這個(gè)事。
http://www.ccm99.com/article-3-1.html