第1章-多媒體技術概述

1、多媒體通信,北京科技大學楊 揚,第1章 多媒體技術概述,多媒體技術的基本概念多媒體的特征多媒體計算機技術的發(fā)展歷史多媒體技術的主要內容多媒體技術的應用多媒體技術的發(fā)展趨勢,1、基本概念,什么是媒體？ 媒體（Medium）在計算機領域中有兩種含義，一是指用以存儲信息的實體，如磁盤、磁帶、光盤和半導體存儲器；一是指信息的載體，如數(shù)字、文字、聲音、圖形圖像和視頻等。CCITT曾給媒體做了如下的分類： 感覺媒

2、體（Perception Medium） 表示媒體（Representation Medium） 顯示媒體（Presentation Medium） 存儲媒體（Storage Medium） 傳輸媒體（Transmission Medium）,1、基本概念,1、基本概念,什么是多媒體？ “多媒體”譯自20世紀80年代初產(chǎn)生的英文詞“multimedia”，最早出現(xiàn)于美國麻省理工學院(MIT)遞交給國防

3、部的一個項目計劃報告中。 多媒體是指信息表示媒體的多樣化，常見的多媒體有文字、圖形、圖像、聲音、音樂、視頻、動畫等多種形式。 多媒體技術是利用計算機技術把文本、聲音、視頻、動畫、圖形和圖像等多種媒體進行綜合處理，使多種信息之間建立邏輯連接，集成為一個完整的系統(tǒng)。,單一媒體：文本、聲音、 視頻、動畫、圖形、圖像,集成的多媒體系統(tǒng),綜合處理各種媒 體，建立信息間 的邏輯鏈接,2、多媒體的特征,多媒體從本質上來說具有三個最

4、重要的特征:-- 多維化 -- 集成性 -- 交互性 除了以上三個特征，實際上多媒體還具有很多其它的特征，例如實時性，它主要指類似聲音和視頻這樣的媒體，它們具有很強的時間相關性。,2.1多媒體的特征—多維化,多維化是指信息媒體的多樣化。它使人們思想的表達不再限于順序的、單調的、狹小的范圍內，而有充分自由的余地。多媒體信息多維化不僅是指輸入，而且還指輸出，目前主要包括聽覺和視覺兩個方面。,2.2多媒體的特征—集成性

5、,這不僅是指多媒體設備集成，而且也包含多媒體信息集成或表現(xiàn)集成。 早期的各項技術都可以單一使用和應用，但很難有大的作為，因為它們是單一的、零散的，如聲音、圖像和交互式技術等。 信息空間的不完整（例如，僅有靜態(tài)圖像而無動態(tài)視頻、僅有聲音而無圖形等）都限制了信息空間中的信息組織，也就限制了信息的有效使用。,2.3多媒體的特征—交互性,這是人們獲取和使信息變被動為主動的最為重要的特征。 多媒體信息空間中的交互性向用戶提供更加有效地

6、控制和使用信息的手段，同時也為應用開辟了更廣闊的領域，交互可以增加對信息的注意和理解，延長保留的時間。,3、多媒體技術的發(fā)展歷史,多媒體及多媒體技術產(chǎn)生于20世紀80年代1984年Apple公司引入“位圖”的概念進行圖像處理，并使用窗口和圖標作為用戶界面，這標志著多媒體技術的產(chǎn)生和應用1986年PHILIPS和SONY公司聯(lián)合推出了交互式緊湊光盤系統(tǒng)，能夠將聲音、文字、圖形、圖像等數(shù)字化信息存儲到光盤上1990年PHILIP

7、S等十多家廠商成立多媒體市場協(xié)會，并制定了MPC(多媒體計算機)市場標準,MPC最低功能要求規(guī)格,4、多媒體技術的主要內容,4.1多媒體的軟硬件平臺軟件及硬件平臺是實現(xiàn)多媒體系統(tǒng)的物質基礎，其中每一項重要的技術突破都直接影響到多媒體的發(fā)展與應用的進程。除了硬件和操作系統(tǒng)，軟硬件平臺還包括多媒體制作、編輯和應用系統(tǒng)。,4.1多媒體的軟硬件平臺,多媒體應用系統(tǒng),多媒體創(chuàng)作編輯軟件,多媒體制作平臺與工具,多媒體核心系統(tǒng)軟件,多媒體計算機

8、硬件系統(tǒng),,4.2專用芯片,數(shù)字化后的音頻和視頻數(shù)據(jù)量非常大，因此必須進行壓縮并需要大容量的存儲器；音頻和視頻的輸入和輸出是實時的，需要高速度。要實現(xiàn)以上基本的要求，在很多情況下需要專用硬件支持。多媒體計算機專用芯片可歸納為兩種類型： 固定功能的芯片 可編程的處理器,4.3數(shù)據(jù)壓縮及編碼技術,多媒體系統(tǒng)要求具有綜合處理聲、圖、文的能力，面臨的主要問題是巨大的數(shù)據(jù)量，尤其是對動態(tài)圖形和視頻圖像一幅中等分辨率

9、彩色圖像(分辨率為640×480，256色，8bit/像素)大約需0.293M字節(jié)的存儲空間，如果用電話線的標準速率(2400bps)傳輸約需17分鐘，一幅同樣分辨率的真彩色(24bit/像素)圖像的數(shù)據(jù)量約為7.37Mbit，一個1000MB（等于8000Mbit）的硬盤只能存約1000幀靜止畫面，一秒鐘全動態(tài)視頻畫面（25幀）約占23.03MB空間，650MB的CD-ROM只能存放約28秒圖像信息。,1分鐘數(shù)字音頻信號需要

10、的存儲空間,1分鐘數(shù)字視頻信號需要的存儲空間,4.4多媒體同步,在對多媒體數(shù)據(jù)進行綜合處理時，不僅要考慮到各種媒體的相對獨立性，為了達到較好的信息表示效果，還要注意保持媒體之間在時間和空間上的相關性。多媒體信息以三種方式相互集成：制約式協(xié)作式交互式,4.5多媒體網(wǎng)絡與分布式處理技術,多媒體單機系統(tǒng)的研究目前已相對成熟，但對多媒體計算機網(wǎng)絡的研究目前還不夠成熟 數(shù)字化的網(wǎng)絡集多媒體信息的獲取、存儲、處理、編輯、綜合、傳輸于一體

11、，并運行于網(wǎng)絡上，網(wǎng)絡的任意節(jié)點都可以共享網(wǎng)上的多媒體信息多媒體技術要充分發(fā)展其對多媒體信息的處理能力，必須與網(wǎng)絡技術相結合 運行于網(wǎng)絡環(huán)境下多媒體系統(tǒng)，因為它能夠不受時空限制地使多個用戶透明地共享網(wǎng)上的數(shù)據(jù)，特別是多個用戶同時共同對一個數(shù)據(jù)文件進行編輯，這使得多媒體技術有了更廣泛的應用,4.6信息的組織與管理,多媒體數(shù)據(jù)量巨大，種類繁多，每種媒體之間差異很明顯，但又存在某種關聯(lián)性。如何管理、組織這些數(shù)據(jù)？如何從各種數(shù)據(jù)中找出所要信

12、息？如何表現(xiàn)這些多媒體信息？新型的信息管理方法：超媒體（Hypermedia） 信息的組織不是線性的，而是按照某種方式以非線性的形式進行存儲、管理和瀏覽。超文本和超媒體適合表達多媒體信息,4.7多媒體數(shù)據(jù)存儲,隨著因數(shù)字化、網(wǎng)絡化而開展的各種應用的不斷增加，對多媒體網(wǎng)絡存儲系統(tǒng)的要求也越來越高。這些要求不僅體現(xiàn)在存儲容量上，還包括以下幾個方面。 可用性和可訪問性可靠性可擴展性 靈活性 安全性

13、易管理性 良好的性價比,4.8虛擬現(xiàn)實技術,所謂虛擬現(xiàn)實，就是采用計算機技術生成一個逼真的視覺、聽覺、觸覺及嗅覺的感覺世界，用戶可以用人的自然技能對這個生成的虛擬實體進行交互考察。這個概念包含三層含義： - 虛擬實體用計算機來生成的一個逼真的實體； - 用戶可以通過人的自然技能(人的頭部轉動、眼動、手勢或其它的身體動作)與這個環(huán)境交互； - 要借助于一些三維傳感設備來完成交互動作，常用的如頭盔立體顯示器、數(shù)據(jù)手套、數(shù)據(jù)服裝

14、、三維鼠標等。,4.9人機界面設計,人機界面設計的目的是通過對用戶需求的解釋達到一種人機之間較好的通信能力。需要以下幾個方面的研究： ① 穩(wěn)健的語言處理模式，包括語音識別和自然語言理 解。 ② 手勢分析和理解模型的設計。 ③ 上述兩個方面的通信模式的融合，因為二者之間在 對用戶需求的理解上是相互補充的。 ④ 多模式環(huán)境中的對話管理。這是保證一個連續(xù)的對 話過程所必需的。,

15、4.10高速多媒體通信技術,高速多媒體通信技術是指為滿足新一代信息系統(tǒng)中實時多媒體信息傳輸?shù)男枰?，網(wǎng)絡的帶寬可能要在1000Gbps以上，而且能支持服務質量控制，以適應不同媒體傳輸質量的要求。解決三個方面的難度：相對于傳統(tǒng)的數(shù)據(jù)應用而言，網(wǎng)絡多媒體應用通常需要更高的網(wǎng)絡帶寬；大多數(shù)的多媒體應用都要求實時傳輸；多媒體數(shù)據(jù)流通常都存在一定的突發(fā)性，僅僅增加帶寬還不能解決突發(fā)性所帶來的問題。,5、多媒體技術的應用,音/視頻點播 電

16、子出版物 醫(yī)療衛(wèi)生游戲與娛樂 計算機視頻會議 多媒體展示和信息查詢系統(tǒng) MIS(管理信息系統(tǒng))與OA(辦公自動化) 傳媒、廣告 教學管理系統(tǒng) 移動衛(wèi)星,6、多媒體技術的發(fā)展趨勢,計算機技術和網(wǎng)絡通信技術的結合為多媒體技術的進一步應用和發(fā)展提供了巨大的可能性，目前這種可能性已經(jīng)逐漸變?yōu)楝F(xiàn)實。多媒體技術的未來將朝著智能化和三維化兩個方向發(fā)展。,6.1多媒體技術的發(fā)展趨勢—智能化,多媒體技術中最主要的處理對象就是數(shù)字音頻和

17、數(shù)字圖像，這里的數(shù)字圖像包括了靜態(tài)圖像和動態(tài)圖像（視頻、動畫）。對數(shù)字音頻的研究，主要涉及的是壓縮編碼和語音識別，而對數(shù)字圖像的研究包括了壓縮編碼、圖像分析識別和圖像理解。無論是自然語言的理解還是圖像理解，都將涉及“智能化”，而智能化的目標就是實現(xiàn)人與計算機的自然交互。人類一般都是用概念來表達意志，但是計算機存儲的都是低層的數(shù)據(jù)，因此很難把這些概念表述出來。這樣就提出來一個如何智能化處理的問題。人機交互、語義網(wǎng),6.2多媒體技術的

18、發(fā)展趨勢—三維化,多媒體技術的一個重要研究內容就是將計算機視覺技術和圖形學技術的內容結合起來，即實現(xiàn)所謂的增強現(xiàn)實技術。這樣做可以將諸如視頻會議系統(tǒng)的現(xiàn)場圖像和計算機生成的圖像疊加在一起，使多媒體的應用效果產(chǎn)生極大的改觀，應用范圍也隨之發(fā)生新的拓展。計算機圖形學從二維圖形發(fā)展到復雜的、高質量的三維的環(huán)境，其相關的技術已經(jīng)得到廣泛的應用。在娛樂方面，電影和計算機游戲中廣泛地使用計算機圖形學。動畫片發(fā)展到完全靠計算機制作，甚至非動畫片也主

19、要依靠計算機圖形學去開發(fā)特定的效果。例如，20世紀70年代中期電影“星球大戰(zhàn)”的成功就是個證明。 三維全息圖像,思考題,1. 什么是多媒體？2. 多媒體的關鍵特性包含哪些方面？3. 為什么說，利用多媒體是計算機技術發(fā)展的必然趨勢？4. 為什么說，如果沒有數(shù)據(jù)壓縮的進步，多媒體計算機就 難以得到實際的應用？5. 就你個人的看法，多媒體技術要研究的內容還應包括哪 些方面？6. 除了本章介紹的多媒體技術的一些應用，你還