基于智慧家庭Smart Home可配置資源的多模態(tài)人機交互的研究與實現(xiàn).pdf

1、隨著計算機及其相關技術的發(fā)展和人們生活水平的不斷提高，人們對計算機的要求不再是網(wǎng)上沖浪、辦公、娛樂等，而是希望它能用于家庭生活的方方面面，例如:家電控制、室內(nèi)環(huán)境控制等，因而家庭生活的智能化成為了家庭生活發(fā)展的必然趨勢。
　　目前，圖形化界面人機交互方式是應用于人與計算機交互的主要方式，雖然這種方式已經(jīng)達到對設備的有效控制，但是人們的感受作為評價交互方式優(yōu)劣的重要因素沒有考慮在內(nèi)，對操作人員的素質(zhì)要求也比較高，尤其是殘障人士根本無

2、法使用該系統(tǒng)，致使用戶與計算機的交互過程中存在很大的局限。基于這些原因，本文提出了一種更適合用戶與系統(tǒng)交互的方式，即多模態(tài)人機交互方式。針對智慧家庭系統(tǒng)，設計并實現(xiàn)了多模態(tài)的人機交互模塊和智慧家庭系統(tǒng)的資源配置模塊，其貢獻點可以概括如下:
　　(1)在配置界面顯示上采用了XML技術，并擴展了XML和XML Schema的傳統(tǒng)用途，即在XML中增添界面顯示元素，通過XML轉(zhuǎn)換器把XML轉(zhuǎn)換成界面元素，用于界面顯示;通過XML Sch

3、ema轉(zhuǎn)換器把XML Schema轉(zhuǎn)換成XML元素模板，再通過XML轉(zhuǎn)換器把XML元素模板轉(zhuǎn)換成半界面元素。XML與XML Schema新的用途適用于智慧家庭資源配置，增加了界面顯示的靈活性。
　　(2)設計了具有擴展能力的人機交互輸入接口，并對其進行了多種實現(xiàn)，如:語音輸入實現(xiàn)、電話語音輸入實現(xiàn)、MSN輸入實現(xiàn)、Gtalk輸入實現(xiàn)、Skype輸入實現(xiàn)和Google日歷輸入實現(xiàn)。人機交互輸入接口方便了輸入方式的擴展，流行IM輸入和

4、日歷輸入實現(xiàn)充分考慮用戶的行為習慣，方便用戶對計算機的控制。
　　(3)設計了具有擴展能力的人機交互輸出接口，并對其進行了多種實現(xiàn)，如:文字轉(zhuǎn)換語音輸出實現(xiàn)、命令控制輸出實現(xiàn)和視頻輸出實現(xiàn)。人機交互輸出接口方便了輸出方式的擴展。
　　(4)設計實現(xiàn)了智慧家庭的配置模塊，主要包括系統(tǒng)信息資源、家庭用戶資源、硬件資源的配置和軟件資源的配置，硬件資源包括:房間、設備的配置;軟件資源包括:瀏覽器、鼠標、新聞播報和控制設備指令的配置。