人機(jī)界面交互方式有哪些

　　去年主要寫(xiě)了多設(shè)備交互的一些想法，借2022 CCF HHME 主論壇的特邀報(bào)告，總結(jié)下對(duì)多模態(tài)交互的一些理解。因?yàn)镚UI+觸控還是當(dāng)前手機(jī)應(yīng)用生態(tài)最主要的交互方式，本文主要介紹，將GUI+觸控為主的交互形態(tài)向多模交互演進(jìn)，有哪些思路和機(jī)會(huì)。

　　本文主要使用類(lèi)比、歸納、演繹的邏輯：類(lèi)比交互系統(tǒng)和通信系統(tǒng)，歸納交互系統(tǒng)的信息架構(gòu)，并對(duì)該信息架構(gòu)進(jìn)行演繹，分析將GUI觸控延展為多模交互可以采用的技術(shù)。

　　在普適計(jì)算的愿景之一，希望用戶(hù)可按需以任意方式獲取信息。信息的傳遞路徑包括人到機(jī)的信息輸入，和機(jī)到人的信息輸出。要實(shí)現(xiàn)自然交互的目標(biāo)，即需要以類(lèi)人人交互的方式，低成本，高效可靠的在人機(jī)間完成信息的傳遞。

　　交互系統(tǒng)的目標(biāo)是完成信息的傳遞，通信系統(tǒng)的目標(biāo)也是信息的傳輸。借鑒已比較成熟的通信系統(tǒng)基礎(chǔ)架構(gòu)，從有效性和可靠性?xún)蓚€(gè)技術(shù)領(lǐng)域，類(lèi)比交互系統(tǒng)和通信系統(tǒng)的異同，提出交互系統(tǒng)的信息架構(gòu)。

　　提升信息傳輸?shù)挠行?，可以有傳輸高熵信息，和多通道信息并發(fā)兩種方式。

　　提升信息傳輸?shù)目煽啃?，主要是解決傳輸通道的噪聲問(wèn)題，也有若干方式：

　　前面介紹了交互系統(tǒng)和通信系統(tǒng)的相同點(diǎn)，這兩個(gè)系統(tǒng)也有很大的不同。主要的差異點(diǎn)在于，人機(jī)交互系統(tǒng)中，人機(jī)不對(duì)偶，我們可以對(duì)計(jì)算機(jī)系統(tǒng)進(jìn)行設(shè)計(jì)和改變，但為達(dá)到自然交互的目標(biāo)，我們不應(yīng)改變?nèi)说慕换チ?xí)慣。

　　這種不對(duì)偶，導(dǎo)致通信系統(tǒng)中一系列需要收發(fā)端配合處理的技術(shù)，在人機(jī)交互系統(tǒng)中不適用。比如，根據(jù)接收端的計(jì)算，將信道質(zhì)量向發(fā)送端進(jìn)行閉環(huán)反饋的閉環(huán)信道評(píng)估技術(shù)；再如，通信系統(tǒng)中廣泛利用的信號(hào)調(diào)制解調(diào)技術(shù)，在人機(jī)交互系統(tǒng)中基本很難利用。

　　根據(jù)以上分析，交互系統(tǒng)和通信系統(tǒng)即有相似性，也有不同。借鑒通信系統(tǒng)的信息架構(gòu)，人機(jī)交互系統(tǒng)的信息架構(gòu)，至少可以從提升交互效率的信源技術(shù)族和提升交互質(zhì)量的信道技術(shù)族兩個(gè)大方向進(jìn)行設(shè)計(jì)：信源技術(shù)方向，主要對(duì)信息進(jìn)行解構(gòu)、重組和恢復(fù)；信道技術(shù)方向，主要對(duì)交互通道進(jìn)行評(píng)估、選擇和組合。

　　基于人機(jī)交互系統(tǒng)的信息架構(gòu)，在分析多模交互之前，我們先對(duì)GUI+觸控這一傳統(tǒng)交互方式進(jìn)行分析。GUI+觸控的經(jīng)典交互方式，GUI主要完成信息的輸出（呈現(xiàn)），其信源是在二維平面上組織的圖文，信道是視覺(jué)通道；觸控主要完成信息的輸入（控制），信源是在GUI提供的任務(wù)共識(shí)下的操作對(duì)象（e.g. UI按鈕）和操作類(lèi)型（e.g. 點(diǎn)擊，長(zhǎng)按等），信道是平面的觸控。

　　先看信息輸出方面，以咖啡預(yù)定的卡片（GUI）為例，在信源技術(shù)族方面，信息本身為卡片呈現(xiàn)的圖文。參考交互系統(tǒng)的信源技術(shù)邏輯，

　　2. 異構(gòu)信息并發(fā)

　　在信道技術(shù)族方面，主要對(duì)各交互通道進(jìn)行能力評(píng)估。如前所述，某交互通道代表了某設(shè)備某模態(tài)的組合，比如，手機(jī)語(yǔ)音和車(chē)機(jī)語(yǔ)音代表了兩個(gè)不同的交互通道。 評(píng)估主要從通道的信息承載能力，信息傳輸質(zhì)量，隱私性三個(gè)大維度進(jìn)行：

　　通過(guò)信源的處理和信道的評(píng)估，僅在手機(jī)GUI上呈現(xiàn)的信息，可以自然延展到多通道的呈現(xiàn)。比如，在手機(jī)、車(chē)機(jī)、手表互聯(lián)的情況下，在駕駛時(shí)，選擇符合隱私要求的高傳輸質(zhì)量的交互通道，將信源的信息進(jìn)行分級(jí)處理并轉(zhuǎn)換，即可將手機(jī)GUI的信息進(jìn)行多模呈現(xiàn)：車(chē)機(jī)GUI呈現(xiàn)卡片，在駕駛狀態(tài)僅呈現(xiàn)高信息量信息并大字體顯示，在非駕駛狀態(tài)呈現(xiàn)全部信息；同時(shí)，車(chē)機(jī)語(yǔ)音播報(bào)高信息量信息，并對(duì)話(huà)引導(dǎo)通過(guò)語(yǔ)音完成操作。

　　在信息輸入方面，也是用類(lèi)似的邏輯展開(kāi)分析。觸控的信源信息比較簡(jiǎn)單，既在GUI呈現(xiàn)形成的任務(wù)共識(shí)下，操作的對(duì)象和類(lèi)型，比如，對(duì)某按鈕的點(diǎn)擊操作。

　　觸控輸入的信道評(píng)估，也有信息承載能力，信息傳輸能力，隱私性三個(gè)方面。這些特征的描述和對(duì)輸出信道的評(píng)估類(lèi)似。比如，對(duì)比觸控，語(yǔ)音的信道容量更高，語(yǔ)音的可用性和抗干擾能力和情景任務(wù)相關(guān)，語(yǔ)音的隱私性不好，可能會(huì)被不希望的設(shè)備或人接收。

　　和多模呈現(xiàn)類(lèi)似，通過(guò)信息的處理和信道的評(píng)估，我們可以對(duì)觸控進(jìn)行多模的延展。

　　將對(duì)GUI的觸控輸入通道，拓展到其他交互通道也有一系列的問(wèn)題：

　　多模輸入和多模輸出進(jìn)一步組合，可形成全新的智能交互體驗(yàn)。如下圖的示例，以GUI觸控為基礎(chǔ)，基于情景靈活拓展和組合，提供即非GUI也非觸控的最佳交互體驗(yàn)。