遠(yuǎn)程交互式多媒體系統(tǒng)及其在數(shù)字健康可視化中的應(yīng)用.pdf

1、信息與通信技術(shù)的迅猛發(fā)展為當(dāng)今的多媒體技術(shù)研究帶來了許多新課題。
　　 其中，交互式多媒體應(yīng)用和交互式多媒體系統(tǒng)的設(shè)計(jì)與優(yōu)化對提升用戶體驗(yàn)至關(guān)重要。一方面，交互式多媒體應(yīng)用已經(jīng)在人們的日常生活中日益普及，如游戲、教學(xué)、多媒體會議等。另一方面，用戶希望獲得的多媒體服務(wù)具有更豐富的內(nèi)容、更高的視覺質(zhì)量、更好的交互性、并可以被更方便的訪問。對于多媒體系統(tǒng)來說，更豐富的內(nèi)容要求其具有更強(qiáng)的存儲、傳輸和處理能力；更高的視覺質(zhì)量要求更高效的

2、多媒體壓縮、傳輸和處理算法；更好的互動性要求盡可能低的端到端延遲；而更方便的訪問則要求多媒體系統(tǒng)能夠適應(yīng)不斷發(fā)展的異構(gòu)客戶端設(shè)備進(jìn)而融入用戶的日常生活中。因此，如何根據(jù)以上要求來設(shè)計(jì)和優(yōu)化交互式多媒體系統(tǒng)成為了我們面臨的困難和挑戰(zhàn)。
　　 本文從當(dāng)前多媒體技術(shù)與計(jì)算設(shè)備的發(fā)展背景和趨勢出發(fā)，研究了先進(jìn)的遠(yuǎn)程交互式多媒體系統(tǒng)的體系結(jié)構(gòu)設(shè)計(jì)和不同組成模塊的優(yōu)化技術(shù)。通過利用遠(yuǎn)程計(jì)算、虛擬顯示、多設(shè)備協(xié)作等技術(shù)，極大的提升了遠(yuǎn)程交互式

3、多媒體系統(tǒng)的用戶體驗(yàn)，也擴(kuò)展了交互式多媒體服務(wù)的應(yīng)用領(lǐng)域。本文的具體研究內(nèi)容及其創(chuàng)新之處主要包括：
　　 提出了一個(gè)統(tǒng)一的紋理壓縮方案。該方案基于顏色量化與定長編碼，對現(xiàn)有的各種源紋理格式進(jìn)行硬件友好的紋理壓縮。它適用于高動態(tài)范圍紋理、低動態(tài)范圍紋理、透明度紋理等。特別地，針對不同的源紋理格式的特性，本文設(shè)計(jì)了多數(shù)據(jù)率的定長編碼壓縮算法，并且支持不同壓縮格式之間的快速轉(zhuǎn)化，從而可以滿足具有不同能力的渲染系統(tǒng)的要求。對于遠(yuǎn)程交互式

4、多媒體系統(tǒng)，統(tǒng)一的紋理壓縮方案不僅能夠更好的支持在瘦客戶端設(shè)備特別是移動和手持設(shè)備上的用戶界面渲染合成，而且壓縮的紋理極大節(jié)省了后臺虛擬化模塊的存儲與處理開銷，從而提高了系統(tǒng)的容量和性能，可以為更多用戶提供內(nèi)容更豐富的交互式多媒體服務(wù)。
　　 提出了針對二維圖像元素的壓縮與后處理算法。在本文提出的遠(yuǎn)程交互式多媒體系統(tǒng)中，各種典型的交互式多媒體應(yīng)用經(jīng)過系統(tǒng)后臺的虛擬化模塊處理后，被表示為一個(gè)或多個(gè)二維圖像元素序列及交互控制命令流。

5、因此，本文設(shè)計(jì)了針對二維圖像元素的壓縮與后處理算法。首先，本文提出了對于混合圖像（如屏幕圖像）的實(shí)時(shí)壓縮與縮放算法，它基于對混合圖像的實(shí)時(shí)內(nèi)容檢測，利用具有不同內(nèi)容的圖像區(qū)域的不同壓縮特性進(jìn)行自適應(yīng)壓縮，并對相應(yīng)的圖像區(qū)域進(jìn)行內(nèi)容自適應(yīng)的后處理實(shí)現(xiàn)縮放操作。同時(shí)，本文還利用圖形處理器來進(jìn)一步加速混合圖像的實(shí)時(shí)縮放。其次，針對另外的一類二維圖形元素，即高動態(tài)范圍圖像，特別是高動態(tài)范圍的醫(yī)學(xué)圖像，本文提出了基于感興趣取值的嵌入式位平面壓縮算

6、法。它利用格雷哥倫布編碼實(shí)現(xiàn)了支持感興趣取值可伸縮的漸進(jìn)傳輸，同時(shí)可以精確估計(jì)傳輸中的截?cái)嗾`差。
　　 設(shè)計(jì)并構(gòu)建了一個(gè)面向異構(gòu)客戶端設(shè)備的交互式虛擬顯示系統(tǒng)。利用前面的紋理壓縮方案以及圖像元素壓縮與后處理算法，本文實(shí)現(xiàn)了基于瘦客戶端遠(yuǎn)程計(jì)算以及多設(shè)備協(xié)作的遠(yuǎn)程虛擬顯示系統(tǒng)。該系統(tǒng)構(gòu)架由便攜式移動設(shè)備、可穿戴傳感器、個(gè)人區(qū)域和環(huán)境中的輸入輸出設(shè)備、以及遠(yuǎn)程計(jì)算資源等組成。
　　 在此構(gòu)架之上，后臺服務(wù)器端的虛擬化模塊，中

7、間層的傳輸與控制模塊，以及客戶端的合成與顯示模塊共同實(shí)現(xiàn)了高效的遠(yuǎn)程交互式虛擬顯示。通過充分利用遠(yuǎn)程的計(jì)算資源和異構(gòu)的客戶端設(shè)備，本文提出的交互式虛擬顯示系統(tǒng)具有良好的移動性、交互性、以及計(jì)算與存儲性能，可以利用現(xiàn)有的瘦客戶端計(jì)算設(shè)備支持具有豐富用戶體驗(yàn)的交互式多媒體應(yīng)用。
　　 建立了一個(gè)新的遠(yuǎn)程交互式多媒體服務(wù)，即以用戶為中心的遠(yuǎn)程數(shù)字健康可視化服務(wù)。本文將提出的遠(yuǎn)程交互式多媒體系統(tǒng)進(jìn)一步專門化來支持不同的數(shù)字健康應(yīng)用，利用

8、傳感器、客戶端設(shè)備、服務(wù)器協(xié)同工作。在典型的數(shù)字健康系統(tǒng)構(gòu)架下，我們提出了對數(shù)字健康數(shù)據(jù)的三維虛擬人體表示方法，并將其應(yīng)用于系統(tǒng)后臺服務(wù)器端的虛擬化模塊上。通過遠(yuǎn)程虛擬顯示，各種不同的健康數(shù)據(jù)可以通過統(tǒng)一的虛擬人體可視化服務(wù)與使用異構(gòu)客戶端設(shè)備的用戶實(shí)時(shí)交互。本文提出的基于遠(yuǎn)程渲染與虛擬顯示技術(shù)的虛擬人體可視化方案可以被多種在線數(shù)字醫(yī)療服務(wù)（如癥狀查詢，健康狀況監(jiān)控，以及醫(yī)療系信息瀏覽等）使用，從而推動數(shù)字健康系統(tǒng)與服務(wù)的發(fā)展。