多點(diǎn)觸摸技術(shù)就是指允許用戶同時(shí)通過多個手指來控制圖形界面的一種技術(shù),能構(gòu)成一個觸摸屏(屏幕,桌面,墻壁等)或觸控板,同時(shí)接受來自屏幕上多個點(diǎn)進(jìn)行計(jì)算機(jī)的人機(jī)交互操作。與多點(diǎn)觸摸技術(shù)相對應(yīng)的當(dāng)然就是單點(diǎn)觸摸,單點(diǎn)觸摸設(shè)備已經(jīng)有很多的年頭了,最早起源于20世紀(jì)70年代,小尺寸的有觸摸式手機(jī),大尺寸最常見的就是銀行里的ATM機(jī)和排隊(duì)查詢機(jī)。
而蘋果公司在iPhone上采用感應(yīng)電容式觸摸屏,讓用戶與設(shè)備的互動不在局限于一根手指,為互動觸摸用戶界面革命做出了不可估量的貢獻(xiàn)。很多人以為多點(diǎn)觸摸僅限于放大縮小功能。其實(shí),放大縮小只是多點(diǎn)觸摸的實(shí)際應(yīng)用樣例之一。有了多點(diǎn)觸摸技術(shù),怎么應(yīng)用就可以通過無限想象來無限擴(kuò)展。程序員可以把多點(diǎn)觸摸應(yīng)用到很多方面,從一定程度上改變或者創(chuàng)新出更多的操作方式來。
就電子產(chǎn)品,特別是消費(fèi)類產(chǎn)品而言,如何將用戶復(fù)雜的控制動作轉(zhuǎn)變?yōu)橹庇^、便捷且可生產(chǎn)的體驗(yàn),是用戶界面設(shè)計(jì)面臨的終極挑戰(zhàn)。用戶界面設(shè)計(jì)一方面要考慮到用戶視覺、聽覺、味覺、嗅覺和觸覺等五種感官的需求,另一方面還要考慮到用戶需求對器件或系統(tǒng)的影響。目前市場上推出的大部分產(chǎn)品雖然有效,但主要都是將用戶的視覺和觸覺分開來處理。從計(jì)算機(jī)鍵盤、手機(jī)鍵盤、MP3播放器、家用電器甚至電視遙控器等上面的簡單按鈕或按鍵,到音量調(diào)節(jié)滑條、滾輪和跟蹤板等上面更高級的單擊和滾動特性,輸出位置(也就是用戶的輸入或操控動作的結(jié)果)與用戶的輸入位置是截然不同的。而這種視覺和觸覺的一致性正是觸摸屏的基本優(yōu)勢所在。讓視覺和觸覺完全達(dá)到一致說起來簡單,但做起來則不啻為一場意義深遠(yuǎn)的技術(shù)突破,其將徹底改變用戶與電子產(chǎn)品互動的方式,因此有人將此稱為用戶界面的革命。
簡述單點(diǎn)觸摸、點(diǎn)觸摸、多點(diǎn)觸摸的關(guān)系與區(qū)別
單點(diǎn)觸摸屏
觸摸屏的功能發(fā)展由簡及繁,最初的產(chǎn)品只支持最簡單的操控,就是一個手指觸摸屏幕上的一點(diǎn)來實(shí)現(xiàn)操控。比如我們每天在附件超市的POS終端機(jī),或者在機(jī)場的check-in終端上進(jìn)行的操作。以前,我們只能通過屏幕周邊的機(jī)械按鈕進(jìn)行操控,單點(diǎn)觸摸屏在此基礎(chǔ)上實(shí)現(xiàn)了用戶界面方面的一大進(jìn)步。當(dāng)然,機(jī)械和新型電容式觸摸感應(yīng)按鈕在我們的家庭、辦公室及其他地方無所不在:手機(jī)、固定電話、遙控器、電視、電腦及其各種外設(shè)、游戲機(jī)、電冰箱、微波爐、烤箱,以及無線電和空調(diào)等車內(nèi)電子控制設(shè)備等等。現(xiàn)在,如下列圖所示的單點(diǎn)觸摸屏在顯示屏上直接集成了用戶控制界面,因此再也不需要傳統(tǒng)的機(jī)械按鈕了。
這種屏幕為用戶界面帶來兩大好處:一是設(shè)備設(shè)計(jì)空間得到優(yōu)化,特別有利于小型設(shè)備,因其能在同一區(qū)域內(nèi)同時(shí)“安裝”屏幕和按鈕;二是由于按鈕能綁定于操作系統(tǒng)中的任意應(yīng)用,所以設(shè)備使用的“按鈕”可以達(dá)到無限多個。
上述功能主要建立在電阻式觸摸屏技術(shù)基礎(chǔ)之上,在消費(fèi)電子產(chǎn)品、機(jī)場報(bào)刊亭、食品雜貨店P(guān)OS終端和車載GPS系統(tǒng)等各種應(yīng)用中都得到了廣泛推廣。
點(diǎn)觸摸屏
盡管單點(diǎn)觸摸屏和電阻式觸摸屏技術(shù)很令人吃驚并頗具革命意義,但其還是有兩大缺點(diǎn),一是電阻式技術(shù)依賴于觸摸屏的物理運(yùn)動,盡管影響不大,但經(jīng)過正常的磨損老化后,性能就會下降;二是這種技術(shù)只支持單點(diǎn)觸摸,也就是一次只能用一個手指在屏幕的某個區(qū)域做單一動作。
為什么用戶與設(shè)備的互動只能局限于一根手指呢?蘋果公司為用戶界面革命做出了不可估量的貢獻(xiàn),其推出的iPhone采用了感應(yīng)電容式觸摸屏。即使在智能電話等小型化設(shè)備中,要想充分發(fā)揮應(yīng)用和操作系統(tǒng)的功能,也需要多個手指才能實(shí)現(xiàn)最佳的可用性。因?yàn)橛辛颂O果公司,用戶現(xiàn)在已經(jīng)很難設(shè)想過去是怎么在不支持兩個手指的手勢動作的情況下,完成諸如下列圖所示的照片縮放,以及相冊、網(wǎng)頁視圖的方位改變等相關(guān)操作的。
其他技術(shù)革新者正在多種設(shè)備系統(tǒng)上繼續(xù)沿用這種多點(diǎn)觸摸技術(shù),其中包括GoogleG-1和BlackberryStorm智能電話、MacBookPro和惠普touchsmart臺式機(jī)和筆記本電腦、便攜式媒體播放器以及其他多種應(yīng)用等。
多點(diǎn)觸摸屏
與單點(diǎn)觸摸屏一樣,識別手指方向的多點(diǎn)觸摸屏也有一個局限,就是該技術(shù)能在屏幕上同時(shí)識別的操作點(diǎn)數(shù)量有限。為什么一次只能識別兩個操作點(diǎn)呢?用戶的兩只手有十個手指,當(dāng)用戶之間彼此互動時(shí),屏幕上會出現(xiàn)更多的手指。這就是識別手指位置的多點(diǎn)觸摸概念的由來,它可以實(shí)現(xiàn)兩個手指以上的操控。
Cypress將此技術(shù)稱為“多點(diǎn)觸控全區(qū)輸入”,它進(jìn)一步提升了觸摸屏可靠的可用性,能滿足多種特性豐富的應(yīng)用需求。可靠性是指我們能以最高粒度準(zhǔn)確捕獲到屏幕上所有觸點(diǎn)的原始數(shù)據(jù),盡可能減少屏幕觸點(diǎn)定位不準(zhǔn)帶來的混亂問題的能力??捎眯允侵副姸喙δ軓?qiáng)大的應(yīng)用可在不同大小的屏幕上受益于雙手或兩個手指以上的屏幕操控的能力。3D互動游戲、鍵盤輸入和地圖操作等都是使用這種觸摸屏功能的一些主要對象。
從根本上來講,多點(diǎn)觸控全區(qū)輸入技術(shù)為設(shè)備和系統(tǒng)OEM廠商提供了唾手可得的所有觸摸數(shù)據(jù),幫助他們發(fā)揮創(chuàng)造性,以開發(fā)下一代新型實(shí)用的技術(shù)。
賽普拉斯半導(dǎo)體公司推出的TrueTouch觸摸屏解決方案就是多點(diǎn)觸控全區(qū)輸入的一個應(yīng)用實(shí)例。TrueTouch采用了賽普拉斯PSoC可編程片上系統(tǒng)架構(gòu),該架構(gòu)集成了帶有可編程模擬和數(shù)字塊的8位微控制器??蓪?shí)現(xiàn)無與倫比的靈活性和可配置性。TrueTouch解決方案的感應(yīng)式電容觸摸屏控制器能擴(kuò)展支持各種尺寸的屏幕,可靈活支持單點(diǎn)觸摸、識別手指方向的多點(diǎn)觸摸和識別手指位置的多點(diǎn)觸摸技術(shù)。TrueTouch可高度集成外部元件,而且特別適合與各種觸摸屏感應(yīng)器或LCD顯示屏協(xié)同工作。靈活的PSoC架構(gòu)使設(shè)計(jì)人員能夠在產(chǎn)品設(shè)計(jì)的最后階段方便地進(jìn)行修改,而這是其他觸摸屏產(chǎn)品無法做到的。
多點(diǎn)觸控(Multi-Touch)屏幕技術(shù)發(fā)展歷史
多點(diǎn)觸控技術(shù)始于1982年由多倫多大學(xué)發(fā)明的感應(yīng)食指指壓的多點(diǎn)觸控屏幕。同年貝爾實(shí)驗(yàn)室發(fā)表了首份探討觸控技術(shù)的學(xué)術(shù)文獻(xiàn)。
1984年,貝爾實(shí)驗(yàn)室研制出一種能夠以多于一只手控制改變畫面的觸屏。同時(shí)上述于多倫多大學(xué)的一組開發(fā)人員終止了相關(guān)硬件技術(shù)的研發(fā),把研發(fā)方向轉(zhuǎn)移至軟件及界面上,期望能接續(xù)貝爾實(shí)驗(yàn)室的研發(fā)工作。
1991年此項(xiàng)技控取得重大突破,研制出一種名為數(shù)碼桌面的觸屏技術(shù),?容許使用者同時(shí)以多個指頭觸控及拉動觸屏內(nèi)的影像。
1999年,“約翰埃利亞斯”和“魯尼韋斯特曼”生產(chǎn)了的多點(diǎn)觸控產(chǎn)品包括iGesture板和多點(diǎn)觸控鍵盤。經(jīng)過多年維持專利的iGesture板和多點(diǎn)觸控鍵盤。
2006年,Siggraph大會上,紐約大學(xué)的Jefferson Y Han教授向眾人演示最新成果,其領(lǐng)導(dǎo)研發(fā)的新型觸摸屏可由雙手同時(shí)操作,并且支持多人同時(shí)操作。利用該技術(shù),Jefferson Y Han在36英寸×27英寸大小的屏幕上,同時(shí)利用多只手指(拇指似乎還無法感應(yīng)到),在屏幕上畫出了好幾根線條。與普通的觸摸屏技術(shù)所不同的是,它同時(shí)可以有多個觸摸熱點(diǎn)得到響應(yīng),而且響應(yīng)時(shí)間非常短——小于0.1秒。
多點(diǎn)觸摸的基本原理
傳統(tǒng)觸摸屏的本質(zhì)是傳感器,它由觸摸檢測部件和觸摸屏控制器組成,常見的傳感器包括電阻式和電容式觸摸屏。而基于光學(xué)感應(yīng)的多點(diǎn)觸摸系統(tǒng)是用戶通過觸摸投影屏幕表面,影響光學(xué)感應(yīng)成像設(shè)備的輸入結(jié)果,成像設(shè)備將成像結(jié)果輸入軟件系統(tǒng)進(jìn)行處理,一般經(jīng)過3個步驟,首先是對原始輸入圖像進(jìn)行包括矯正、濾波等預(yù)處理,然后通過光斑跟蹤引擎對觸點(diǎn)進(jìn)行跟蹤,并將其解釋為各種輸入狀態(tài),最后將輸入位置、狀態(tài)等信息發(fā)送給上層應(yīng)用程序。應(yīng)用程序處理結(jié)果最終被投射到顯示屏幕表面上,從而與用戶產(chǎn)生真正的所見即所得的交互效果。根據(jù)不同的光學(xué)感應(yīng)原理,目前常見的多點(diǎn)觸摸實(shí)現(xiàn)方式包括FTIR(受抑全內(nèi)反射)、DI、LLP等技術(shù)。
多點(diǎn)觸摸的技術(shù)特點(diǎn)
1、?多點(diǎn)觸摸是在同一顯示界面上的多點(diǎn)或多用戶的交互操作模式,摒棄了鍵盤、鼠標(biāo)的單點(diǎn)操作方式。
2、用戶可通過雙手進(jìn)行單點(diǎn)觸摸,也可以以單擊、雙擊、平移、按壓、滾動以及旋轉(zhuǎn)等不同手勢觸摸屏幕,實(shí)現(xiàn)隨心所欲地操控,從而更好更全面地了解對象的相關(guān)特征(文字、錄像、圖片、衛(wèi)片、三維模擬等信息)。
3、可根據(jù)客戶需求,訂制相應(yīng)的觸摸板,觸摸軟件以及多媒體系統(tǒng);可以與專業(yè)圖形軟件配合使用。
多點(diǎn)觸摸的技術(shù)解析
識別手勢方向
我們現(xiàn)在看到最多的是?Multi-Touch Gesture,即兩個手指觸摸時(shí),可以識別到這兩個手指的運(yùn)動方向。但還不能判斷出具體位置??梢赃M(jìn)行縮放、平移、旋轉(zhuǎn)等操作。這種多點(diǎn)觸摸的實(shí)現(xiàn)方式比較簡單,軸坐標(biāo)方式即可實(shí)現(xiàn)。把?ITO?分為?X,Y?軸,可以感應(yīng)到兩個觸摸操作,但是感應(yīng)到觸摸和探測到觸摸的具體位置是兩個概念。XY?軸方式的觸摸屏可以探測到第?2?個觸摸,但是無法了解第二個觸摸的確切位置。單一觸摸在每個軸上產(chǎn)生一個單一的最大值,從而斷定觸摸的位置,如果有第二個手指觸摸屏面,在每個軸上就會有兩個最大值。這兩個最大值可以由兩組不同的觸摸來產(chǎn)生,于是系統(tǒng)就無法準(zhǔn)確判斷了。有的系統(tǒng)引入時(shí)序來進(jìn)行判斷,假設(shè)兩個手指不是同時(shí)放上去的,但是,總有同時(shí)觸碰的情況,這時(shí),系統(tǒng)就無法猜測了,我們可以把并不是真正觸摸的點(diǎn)叫做"鬼點(diǎn)。
識別手指位置
Multi-Touch All-Point?是近期比較流行的話題。其可以識別到觸摸點(diǎn)的具體位置。即沒有"鬼?點(diǎn)"的現(xiàn)象。多點(diǎn)觸摸識別位置可以應(yīng)用于任何觸摸手勢的檢測,,可以檢測到雙手十個手指的同時(shí)觸摸,也允許其他非手指觸摸形式,比如手掌、臉、拳頭等,甚至戴手套也可以。它是最人性化的人機(jī)接口方式,很適合多手同時(shí)操作的應(yīng)用,比如游戲控制。Multi-Touch All-Point?的掃描方式是每行和每列交叉點(diǎn)都需單獨(dú)掃描檢測,掃描次數(shù)是行數(shù)和列數(shù)的乘積。例如,,一個?10?根行線,15?根列線所構(gòu)成的觸摸屏,使用Multi-Touch Gesture?的軸坐標(biāo)方式,需要掃描的次數(shù)為?25?次,而多點(diǎn)觸摸識別位置方式則需要?150?次。
Multi-Touch All-Point?基于互電容的檢測方式,而不是自電容,自電容檢測的是每個感應(yīng)單元的電容(也就是寄生電容?Cp)的變化,有手指存在時(shí)寄生電容會增加,從而判斷有觸摸存在,而互電容是檢測行列交叉處的互電容(也就是耦合電容?Cm)的變化,當(dāng)行列交叉通過時(shí),行列之間會產(chǎn)生互電容(包括:行列感應(yīng)單元之間的邊緣電容,行列交叉重疊處產(chǎn)生的耦合電容),有手指存在時(shí)互電容會減小,就可以判斷觸摸存在,并且準(zhǔn)確判斷每一個觸摸點(diǎn)位置。
多點(diǎn)觸控技術(shù)種類
基于傳感器的Multi-Touch系統(tǒng)
許多Multi-Touch裝置基于傳感器技術(shù),這些傳感器能同時(shí)檢測到多個接觸點(diǎn),從而識別多個點(diǎn)的輸入。和基于計(jì)算機(jī)視覺的Multi-Touch系統(tǒng)相比,基于傳感器的Multi-Touch系統(tǒng)一般不能從現(xiàn)成的組件來組裝,搭建的成本較高。而且環(huán)境溫度、濕度的會影響到系統(tǒng)的性能。但是由于可以把傳感器集成在接觸表面上,可用于手機(jī)、Pads等屏幕較小的手持設(shè)備上。
1985年提出的FMTSID(Fast Multiple-Touch-Sensitive Input Device)多點(diǎn)觸控裝置是最早的基于傳感器的多點(diǎn)觸控裝置之一。該系統(tǒng)由一個傳感器矩陣面板、行列選擇寄存器、A/D轉(zhuǎn)換器和一個控制CPU組成。通過測量電容的改變,來檢測手指的觸摸點(diǎn)。FMTSID可以精確的檢測多個手指的觸摸位置,而且還可以檢測出手指的接觸壓力。
三菱電子研究實(shí)驗(yàn)室的Dietz等在2001年提出了DiamondTouch(DT),是一個支持多用戶的前置攝像頭的多點(diǎn)觸控系統(tǒng)。桌面是投影的屏幕,同時(shí)也是接觸屏。觸屏下面鑲嵌大量的觸角,每一個觸角傳遞一個特定的信號,每一個使用者有獨(dú)立的接收器,利用使用者的導(dǎo)電性,通過其座椅將信號傳遞。當(dāng)使用者接觸面板,在接觸點(diǎn)附近的觸角在使用者的身體和接收器之間傳遞微弱的信號。這種獨(dú)特的接觸技術(shù)支持單一使用者的多種接觸(例如雙手接觸的動作),還能區(qū)別不同使用者之間的同時(shí)輸入(多達(dá)4個)而互不干擾。該系統(tǒng)還可以檢測接觸點(diǎn)的壓力,支持豐富的手勢,不受外來物體的干擾。和許多的多點(diǎn)觸控技術(shù)一樣,DT不能區(qū)分來自同一個用戶的多個接觸點(diǎn)是那個手指的。DiamondTouch存在如下的缺點(diǎn):只能檢測到“touch”動作,而不能識別放在他表面上的物體;DT則從桌子上方投射圖像,因此使用的時(shí)候,人的肢體遮擋顯示屏,從而帶來操作上的不變。
根據(jù)FMTSID原理,Sony計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室的Rekimoto等在2002年提出具有更高分辨率的SmartSkin多點(diǎn)觸控系統(tǒng),該系統(tǒng)由網(wǎng)格狀發(fā)射器/接收器組成。
SmartSkin可以不僅可以識別多個手的接觸位置和它們的形狀,而且通過電容感應(yīng)和網(wǎng)格式的天線來計(jì)算手和接觸面的距離。和DiamondTouch相比,SmartSkin能夠返回更加豐富的接觸信息(如手指的接觸形狀)。這激發(fā)了Cao等人利用手指的接觸形狀來設(shè)計(jì)新穎的交互方式。
Apple在2007年推出的iPhone手機(jī),是第一個支持多點(diǎn)觸控的移動設(shè)備。iPhone使用電容耦合來感應(yīng)多個觸控點(diǎn)。iPhone能夠?qū)崿F(xiàn)具有有限維度的多點(diǎn)觸控,允許人們以徒手的方式進(jìn)行操作,并且可以通過虛擬的鍵盤進(jìn)行打字,撥電話號碼以及由Krueger最先介紹的“pinching”技術(shù)(用一只手的大拇指和食指實(shí)現(xiàn)對地圖和照片的縮放操作)。這是鼠標(biāo)、鍵盤這些傳統(tǒng)的輸入方式所辦不到的,iPhone的這些功能讓人們耳目一新。隨著Apple公布了iPhone SDK,引起了研究人員對于Multi-touch技術(shù)在手持設(shè)備中的應(yīng)用研究的極大興趣。
基于計(jì)算機(jī)視覺的Multi-Touch系統(tǒng)
由于計(jì)算機(jī)成本的下降和性能的提高,計(jì)算機(jī)視覺技術(shù)得到了很大的進(jìn)步,這使我們能夠?qū)崟r(shí)、高速處理視頻信號,這足以滿足實(shí)時(shí)交互和人機(jī)交互的要求。由此研究人員提出了許多以計(jì)算機(jī)視覺為核心的Multi-Touch系統(tǒng)。
完全基于計(jì)算機(jī)視覺的多點(diǎn)觸控系統(tǒng)
完全基于計(jì)算機(jī)視覺的多點(diǎn)觸控系統(tǒng)僅使用圖像處理技術(shù)來識別接觸點(diǎn)及其接觸的位置。采用該技術(shù)的多點(diǎn)觸控系統(tǒng)可以在任何平整的表面使用,而不需要專門的顯示設(shè)備,具有很高的便攜性。但這種便攜性是以犧牲選擇精度為代價(jià)的。
Pinhanez等人設(shè)計(jì)了一個完全基于計(jì)算機(jī)視覺的觸摸顯示系統(tǒng)——Everywhere Display[4]。該系統(tǒng)使用一個攝像頭和投影儀通過圖像處理技術(shù)把一個普通的屏幕變成可以觸控互動的顯示屏幕。雖然Pinhanez在文章中沒有提供任何接觸檢測算法的選擇精度的數(shù)據(jù),但很明顯為了便攜性而犧牲了選擇的精度。比起其它Multi-touch技術(shù)來說,Everywhere Display要精確確定手指觸摸顯示屏的時(shí)間和時(shí)長很困難。
Microsoft的Wilson等提出的PlayAnywhere系統(tǒng)]是一個相對比較緊湊和具有較好的移動性的前置攝像頭的桌面交互系統(tǒng)。Wilson為基于計(jì)算機(jī)視覺的前置攝像頭桌面交互系統(tǒng)提出了多種圖像處理技術(shù),最顯著的是基于陰影的觸摸檢測算法,該算法能夠準(zhǔn)確、可靠地檢測觸摸事件和它們的接觸位置。但Agarwal等指出,該算法只有在手指的指向是垂直的情況下效果才是最好的,這限制了該系統(tǒng)在協(xié)作環(huán)境下的應(yīng)用。
Agarwal等人根據(jù)立體圖像和機(jī)器學(xué)習(xí)技術(shù)開發(fā)了計(jì)算機(jī)視覺算法,該算法改善了基于計(jì)算機(jī)視覺的多點(diǎn)交互桌面的選擇精度(精確度2~3mm),能夠準(zhǔn)確地檢測指尖的觸摸事件,其準(zhǔn)確率達(dá)到了98.48%,這和以前的技術(shù)級相比(之前的選擇精度一般是cm級別的),有了很大的提高。
基于計(jì)算機(jī)視覺和光學(xué)的多點(diǎn)觸控系統(tǒng)
基于計(jì)算機(jī)視覺和光學(xué)的Multi-touch技術(shù)搭建起來的設(shè)備具有很好的擴(kuò)展性,而且成本相對較低,但其體積一般都比較大。下面介紹兩種基于計(jì)算機(jī)視覺和光學(xué)的Multi-touch系統(tǒng)。
1、受抑全內(nèi)反射技術(shù)(FTIR)
FTIR(Frustrated TotalInternal Reflection)是一種光學(xué)現(xiàn)象,LED(發(fā)光二極管)發(fā)出的光束從觸摸屏截面照向屏幕的表面后,將產(chǎn)生反射。如果屏幕表層是空氣,當(dāng)入射光的角度滿足一定條件時(shí),光就會在屏幕表面完全反射。但是如果有個折射率比較高的物質(zhì)(例如手指)壓住丙烯酸材料面板,屏幕表面全反射的條件就會被打破,部分光束透過表面,投射到手指表面。凹凸不平的手指表面導(dǎo)致光束產(chǎn)生散射(漫反射),散射光透過觸摸屏被架設(shè)在亞克力板面下面的紅外攝像頭讀取,通過對應(yīng)的軟件(Touchlib)就可以檢測到相應(yīng)的觸摸信息。Touchlib?是NUI Group為多點(diǎn)觸控系統(tǒng)開發(fā)的一套軟件庫,它實(shí)現(xiàn)了計(jì)算機(jī)視覺大部分算法。這種技術(shù)使用簡單的Blob檢測算法就能檢測多個觸摸點(diǎn)和接觸的位置。
實(shí)際上,F(xiàn)TIR原理很早就被用來生產(chǎn)一些輸入設(shè)備,例如指紋閱讀器。Jefferson首次利用FTIR原理搭建了一個低成本的多點(diǎn)觸摸顯示屏,大大降低了Multi-touch技術(shù)的研究成本。根據(jù)Jefferson的方法,我們搭建了一個60cmx45cm的Multi-touch平臺,總共花費(fèi)不到500元。
2、散射光照明技術(shù)(DI)
DI(DiffusedIllumination)多點(diǎn)觸摸技術(shù)指紅外光從底部照射在觸摸屏幕上,將漫反射幕放在觸摸屏幕的上面或者底部,當(dāng)物體觸摸屏幕的時(shí)候會反射比漫反射幕更多的紅外光,然后被攝像頭讀取,通過Touchlib就可以檢測到相應(yīng)的觸摸信息。用這個漫反射幕也可以用來檢測懸停和在界面上的物體。
DI技術(shù)和FTIR相比,有一定的優(yōu)勢,DI系統(tǒng)可以檢測物體的懸停狀態(tài)(系統(tǒng)能識別手或者手指在屏幕上移動或者移近屏幕,而不需要真正觸摸)。另外,基于DI的系統(tǒng)依靠“看”什么在屏幕上,而不是檢測觸摸本身,因此,DI能夠識別和檢測物體和物體的標(biāo)記。但是,和FTIR中使用的簡單的Blob跟蹤檢測算法相比,DI使用的圖像處理技術(shù)比較復(fù)雜。此外,DI系統(tǒng)容易受到外界光線的影響。
Microsoft的?Surface?是基于背面DI (Diffuse Illumination)技術(shù)的多點(diǎn)觸控系統(tǒng)。Surface內(nèi)置的攝像頭可以感知觸摸和姿勢等用戶輸入(手指在屏幕上移動),還能夠捕捉識別放在上面的物體所需信息。這些信息發(fā)送到普通類型的Windows PC進(jìn)行處理,處理結(jié)果由數(shù)字光處理(DLP)投影儀返回給Surface。Microsoft Surface能感應(yīng)多個手指和手,能識別多種物體和它們在表面上的位置。
還有其他一些基于計(jì)算機(jī)視覺和光學(xué)的Multi-touch系統(tǒng),例如:Alex?提出的激光平面多點(diǎn)觸摸技術(shù)(LLP);由Nima提出發(fā)光二極管平面多點(diǎn)觸摸技術(shù)(LED-LP);由Tim Roth?提出的散射光平面多點(diǎn)觸摸技術(shù)(DSI)。這些技術(shù)都可以用來搭建Multi-touch設(shè)備。
多點(diǎn)觸控的關(guān)鍵技術(shù)
Multi-touch技術(shù)可簡單的分解為兩部:硬件和軟件。硬件完成信息的采集,軟件完成信息的分析判斷,最終轉(zhuǎn)換成具體的用戶命令。由此可以認(rèn)為Multi-touch的關(guān)鍵技術(shù)應(yīng)包括以下幾個主要的部分:
Multi-touch硬件平臺
如本文前面介紹的硬件平臺,這些平臺各有各的優(yōu)缺點(diǎn),了解這些平臺的組成和原理的意義在于如何搭建成本更加低廉、安裝移植更加方便、目標(biāo)選擇更加精確的交互平臺和研究一些與平臺無關(guān)的交互技術(shù)。
精度選擇技術(shù)
精度選擇技術(shù)實(shí)際上也就是觸點(diǎn)的檢測跟蹤,如何準(zhǔn)確地跟蹤和定位觸點(diǎn),實(shí)現(xiàn)手勢的自由交互有很大的意義。尤其,當(dāng)目標(biāo)尺寸很小時(shí),我們的手指如何準(zhǔn)確定位到我們想要的目標(biāo)上,這也是一個值得深入研究的內(nèi)容。
身份識別技術(shù)
現(xiàn)有的Multi-touch技術(shù)檢測到的觸點(diǎn)大都不攜帶用戶信息。目前可以識別用戶身份的技術(shù)有DiamondTouch(最多可以識別4個用戶)。文獻(xiàn)[30]提出的利用手指指向在FTIR平臺上實(shí)現(xiàn)的一種輕量級的用戶身份識別技術(shù)。研究識別觸點(diǎn)來自哪個用戶,更進(jìn)一步,這些觸點(diǎn)來自用戶的那只手,還有就是哪些觸點(diǎn)只對特定的用戶響應(yīng)等等,這對于大尺寸的交互區(qū)上的多用戶協(xié)同工作具有重要的應(yīng)用價(jià)值。
雙手交互技術(shù)
雙手操作是人在日常生活中最常用操作方式,將這些自然操作應(yīng)用與人機(jī)交互過程可以大大減輕操作者的認(rèn)知負(fù)擔(dān),形成很自然的“意識~動作”,提高交互操作的效率,我們認(rèn)為將是以后的一個研究重點(diǎn)。
多點(diǎn)觸控技術(shù)的應(yīng)用
多點(diǎn)觸控屬于感應(yīng)式互動投影系統(tǒng)主要針對新型多媒體內(nèi)容展示而設(shè)計(jì)。集合新的創(chuàng)意、新的表現(xiàn)形式、新的媒體平臺,配合普通桌面顯示絢麗的交互畫面,令用戶在觸覺、視覺、聽覺以及人機(jī)交互感知方面獲得極大沖擊力。用戶站在背投屏幕的面前,通過手掌點(diǎn)擊和拖動等方式與多媒體內(nèi)容進(jìn)行互動。
該系統(tǒng)的開發(fā)基于先進(jìn)的計(jì)算機(jī)視覺技術(shù)和投影顯示技術(shù),將用戶的自然運(yùn)動與可交互的多媒體內(nèi)容相結(jié)合,創(chuàng)造了一種神奇清新的互動體驗(yàn),系統(tǒng)交互所產(chǎn)生的絢麗效果可以有效的吸引目標(biāo)人群的注意。使用本系統(tǒng),用戶可以使用雙手或肢體與多媒體內(nèi)容進(jìn)行任意的互動,互動過程中,用戶可以收獲感官的新奇刺激,并對所交互的內(nèi)容留下深刻的印象。
而多點(diǎn)觸控系大屏幕邊緣融合系統(tǒng)包含一組渲染子系統(tǒng)和一組圖像采集子系統(tǒng)。圖像采集子系統(tǒng)的硬件主要包含一個紅外信號感應(yīng)器,其功能是捕捉觀展者的動作對其進(jìn)行分析與處理,并將處理結(jié)果發(fā)送給渲染服務(wù)器。渲染子系統(tǒng)主要包含一臺投影儀,其功能是接收圖像采集子系統(tǒng)的處理結(jié)果,生成相應(yīng)的圖像通過投影儀顯示到屏幕上,從而實(shí)現(xiàn)最自然的展示效果。所有的圖像采集處理/渲染工作均在工作站上完成。這樣的一來,多點(diǎn)平臺的應(yīng)用就不在被投影屏幕尺寸規(guī)格所限制,擁有更強(qiáng)大的展示方式。
多點(diǎn)觸控技術(shù),能構(gòu)成一個觸摸屏(屏幕,桌面,墻壁等)或觸控板,都能夠同時(shí)接受來自屏幕上多個點(diǎn)的輸入信息。在與傳統(tǒng)的單點(diǎn)觸摸屏技術(shù)相比,已經(jīng)突破了傳統(tǒng)的單一的鼠標(biāo)左鍵功能,不在是單調(diào)的點(diǎn)擊,可以實(shí)現(xiàn)多人一起操作,擁有更華麗的操作模式和豐富的素材內(nèi)容。
編輯:黃飛
?
評論
查看更多