Win7之家（ www.airtaxifl.com）：讓畫筆在空氣中飛舞 - 微軟展示“空中書寫”技術(shù)

如果不是學(xué)計算機科學(xué)的話，你可能不知道什么叫計算機視覺，也可能不知 道什么叫模式識別。但是看過電影《少數(shù)派報告》的人或許都希望自己能和湯姆·克魯斯一樣，在空中用手比劃一下就能完成未來電腦的操作；甚至想過如果有像哈 利·波特那樣的魔棒，揮一揮就無所不能。微軟亞洲研究院語音組最近發(fā)明的空中手書項目就部分地實現(xiàn)了這些科幻迷、童話迷的夢想。 

就如上圖所展示的那樣，用戶手中抓一支筆、一個蘋果或者其他容易辨認的 物體，在空中寫下文字、做出手勢，通過攝像頭的“眼睛”觀察，計算機就能知道用戶寫的是哪個漢字，想表達的是哪種手勢，從而完成計算機和人的自然交流。這 也正是我們項目命名為“空中手書”的由來。之所以說是部分實現(xiàn)了用戶的夢想，那是因為我們只是成功實現(xiàn)了空中手書，而真正科幻式的未來生活需要各個行業(yè)、 各個學(xué)科的共同發(fā)展進步。

孝心引發(fā)的創(chuàng)新

空中手書項目誕生的直接導(dǎo)火索是迎接2009年的微軟技術(shù)節(jié) (TechFest)，為此語音組在內(nèi)部廣征TechFest的參展議案，結(jié)論莫衷一是。當(dāng)時，我還在家休假。我的經(jīng)理霍強說，“等馬磊回來再討論吧，這 家伙鬼點子多。”回公司上班那周，正好和霍強1:1交流，當(dāng)談到組里還為TechFest參展項目懸而未定時，我就提出了要做“空中手書”的建議。其實， 這個念頭由來已久，但是那次回老家度假更堅定了我的這個想法。2009年初在家過年的時候，就經(jīng)常聽到父母抱怨不會用鍵盤輸入，手寫板也不好用(需要不斷 的抬頭看屏幕和低頭看板子)，我當(dāng)時便吹牛說，明年回來給家里的電腦裝個攝像頭，然后你們對著攝像頭就可以寫字了。其實有這個想法也是因為之前全院的某次 Offsite，在一段非�？岬囊曨l短片里，四位院長用手指在空中輕而易舉地寫下了MSRA (微軟亞洲研究院的英文縮寫) 四個字母，這當(dāng)然是電影特效，但是卻讓我浮想聯(lián)翩。

雖然“空中手書”的想法聽上去很炫，但是霍強還是對需要投入的時間和人 力成本有所顧慮。為此，我主動請纓用兩周時間先做個原型出來，然后再評定能不能繼續(xù)做下去。實際上最后做出這個原型只用了2天時間，也還是一個比較簡陋的 演示：首先把手的運動軌跡跟蹤下來，接著保存成數(shù)據(jù)文件，然后再調(diào)用我們的識別引擎，得到識別結(jié)果文件，最后經(jīng)過讀取把它顯示在屏幕上。

令人驚訝的是，這個原型的效果已經(jīng)令人相當(dāng)滿意了。因此，便有了更多的人加入到這個項目的開發(fā)完善的過程中，比如我的實習(xí)生朱曉恩、霍強的實習(xí)生孫雷，以及現(xiàn)在繼續(xù)把這個演示中加入手勢識別的禹果。

空中手書項目在2009年微軟技術(shù)節(jié)上精彩亮相

技術(shù)里面隱藏的奧妙

那是不是因為這個問題太簡單了，所以用兩天就能做出這個演示？當(dāng)然不是了。我們設(shè)計的空中書寫系統(tǒng)里面有兩個主要的組成部分，一個是運動軌跡的追蹤算法，一個是手寫體漢字的識別算法。而這兩個領(lǐng)域本身都有了幾十年的發(fā)展，至今還是有很多的未解問題。

比如說這個跟蹤算法，跟蹤什么東西、提取什么樣的特征來跟蹤、跟蹤的效率，是不是白天晚上各種不同的光照條件下都能跟蹤等等，每一個問題都可以展開來細細的做研究。而這些問題如果不解決或一定程度上解決，就不會是一個用戶體驗良好且穩(wěn)定的方案。

再比如說這個手寫體漢字識別也同樣是有很多值得研究的問題。寫字的風(fēng)格 (楷書、行書、隸書、草書) 不同會影響識別率，不同人的寫法更是差異很大。另外，漢字的筆順也是個大問題。除去這些問題不談，在空中寫字的方式和紙面上寫出來的字樣式上也差別很大， 至少現(xiàn)在空中的漢字是要一筆寫成的。這都要求我們的漢字識別器可以穩(wěn)定地處理和識別出來。

兩天做出來的原型只是描述了一個概念，后面還有大量的工作等著我們?nèi)プ觥?/font>