多媒體視頻信息處理

1、第5章 多媒體視頻信息處理,視覺(jué)是人類(lèi)感知外部世界的一個(gè)最重要的途徑。計(jì)算機(jī)視頻技術(shù)是把我們帶到近于真實(shí)世界的最強(qiáng)有力的工具。在多媒體技術(shù)中，視頻信息的獲取及處理無(wú)疑占有舉足輕重的地位。視頻處理技術(shù)在目前以至將來(lái)都是多媒體應(yīng)用的一個(gè)核心技術(shù)。,主要內(nèi)容,基礎(chǔ)知識(shí)電視信號(hào)及其標(biāo)準(zhǔn)視頻的數(shù)字化過(guò)程基于多媒體計(jì)算機(jī)的視頻處理系統(tǒng)視頻文件的類(lèi)型,視頻數(shù)據(jù),連續(xù)數(shù)據(jù)產(chǎn)生方式實(shí)時(shí)數(shù)據(jù)－采集合成數(shù)據(jù)－創(chuàng)作處理方式模擬視頻數(shù)字

2、視頻,1、基礎(chǔ)知識(shí),視頻的定義人類(lèi)接受的信息70%來(lái)自視覺(jué), 其中活動(dòng)圖像是信息量最豐富、直觀(guān)、生動(dòng)、具體的一種承載信息的媒體。視頻（Video）就其本質(zhì)而言，實(shí)際上就是其內(nèi)容隨時(shí)間變化的一組動(dòng)態(tài)圖像(25或30幀/秒)，所以視頻又叫作運(yùn)動(dòng)圖像或活動(dòng)圖像。 從數(shù)學(xué)角度描述，視頻指隨時(shí)間變化的圖像，或稱(chēng)為時(shí)變圖像。時(shí)變圖像是一種時(shí)-空亮度圖案（spatial-temporal intensity pattern），可以表示為s(x,y

3、,t)，其中(x,y)是空間變量，t是時(shí)間變量。,視頻信號(hào)的特點(diǎn),內(nèi)容隨時(shí)間而變化伴隨有與畫(huà)面動(dòng)作同步的聲音(伴音)圖像與視頻是兩個(gè)既有聯(lián)系又有區(qū)別的概念：靜止的圖片稱(chēng)為圖像（Image），運(yùn)動(dòng)的圖像稱(chēng)為視頻（Video）。此外，兩者的信源方式不同，圖像的輸入要靠掃描儀、數(shù)字照相機(jī)等設(shè)備；而視頻的輸入是電視接收機(jī)、攝象機(jī)、錄象機(jī)、影碟機(jī)以及可以輸出連續(xù)圖像信號(hào)的設(shè)備。,視頻的分類(lèi),模擬視頻（Analog Video）模擬視頻是一種

4、用于傳輸圖像和聲音的并且隨時(shí)間連續(xù)變化的電信號(hào)。早期視頻的記錄、存儲(chǔ)和傳輸都是采用模擬方式。 模擬視頻具有以下特點(diǎn)： 以模擬電信號(hào)的形式來(lái)記錄 依靠模擬調(diào)幅的手段在空間傳播 使用盒式磁帶錄象機(jī)將視頻作為模擬信號(hào)存放在磁帶上,,傳統(tǒng)的模擬信號(hào)處理設(shè)備,,,直接廣播衛(wèi)星（DBS）,）,,模擬視頻的不足：不適合網(wǎng)絡(luò)傳輸，在傳輸效率方面先天不足；圖像隨時(shí)間和頻道的衰減較大；不便于分類(lèi)、檢索和編輯。,,數(shù)字視頻（Digital V

5、ideo-DV）視頻的數(shù)字化過(guò)程包括采樣、量化和編碼。數(shù)字視頻克服模擬視頻了的局限性，這是因?yàn)閿?shù)字視頻可以大大降低視頻的傳輸和存貯費(fèi)用、增加交互性（數(shù)字視頻可通過(guò)光纖等介質(zhì)高速隨機(jī)讀?。┘熬_再現(xiàn)真實(shí)情景的穩(wěn)定圖像。數(shù)字視頻的應(yīng)用已經(jīng)非常廣泛，并帶來(lái)一個(gè)全新的應(yīng)用局面。包括直接廣播衛(wèi)星（DBS）、有線(xiàn)電視、數(shù)字電視在內(nèi)的各種通信應(yīng)用均需要采用數(shù)字視頻。近年出現(xiàn)的一些消費(fèi)產(chǎn)品，如VCD和DVD，數(shù)字式便攜攝像機(jī)，都是以MPEG視頻壓

6、縮為基礎(chǔ)的。,數(shù)字視頻的優(yōu)點(diǎn)適合于網(wǎng)絡(luò)應(yīng)用 在網(wǎng)絡(luò)環(huán)境中，視頻信息可以很方便地實(shí)現(xiàn)資源的共享，通過(guò)網(wǎng)絡(luò)線(xiàn)、光纖，數(shù)字信號(hào)可以很方便地從資源中心傳到辦公室和家中。視頻數(shù)字信號(hào)可以長(zhǎng)距離傳輸而不會(huì)產(chǎn)生任何不良影響，而模擬信號(hào)在傳輸過(guò)程中會(huì)有信號(hào)損失。再現(xiàn)性好 模擬信號(hào)由于是連續(xù)變化的，所以不管復(fù)制時(shí)采用的精確度多高，失真總是不可避免的，經(jīng)過(guò)多次復(fù)制以后，誤差就很大。數(shù)字視頻可以不失真地進(jìn)行無(wú)限次拷貝，其抗干擾能力是模擬圖像無(wú)法比擬的

7、。它不會(huì)因存儲(chǔ)、傳輸和復(fù)制而產(chǎn)生圖像質(zhì)量的退化，從而能夠準(zhǔn)確地再現(xiàn)圖像。,便于計(jì)算機(jī)編輯處理模擬信號(hào)只能簡(jiǎn)單調(diào)整亮度、對(duì)比度和顏色等，極大地限制了處理手段和應(yīng)用范圍。而數(shù)字視頻信號(hào)可以傳送到計(jì)算機(jī)內(nèi)進(jìn)行存儲(chǔ)、處理，很容易進(jìn)行創(chuàng)造性地編輯與合成，并進(jìn)行動(dòng)態(tài)交互。數(shù)字視頻的缺陷是處理速度慢，所需的數(shù)據(jù)存儲(chǔ)空間大，從而使數(shù)字圖像的處理成本增高。通過(guò)對(duì)數(shù)字視頻的壓縮，這樣可以節(jié)省大量的存儲(chǔ)空間，光盤(pán)技術(shù)的應(yīng)用也使得大量視頻信息的存儲(chǔ)成為可能

8、。,視頻的應(yīng)用領(lǐng)域,廣播電視 地面、衛(wèi)星電視廣播 有線(xiàn)電視（CATV:Community Antenna TV ） 數(shù)字視頻廣播(Digital Video Broadcast） 交互式電視（ITV:Interactive TV ） 高清晰度電視（HDTV） 通信 可視電話(huà)（Videophone ） 視頻會(huì)議（Videoconferencing ） 視頻點(diǎn)播（VOD:Video On Demand ） 視頻數(shù)據(jù)庫(kù),,

9、個(gè)人娛樂(lè)錄象節(jié)目 VCD（Video Compact Disk） DVD（Digital Versatile Disk） 電視購(gòu)物 家庭攝象 視頻游戲,主要指標(biāo),寬高比垂直分辨率－細(xì)節(jié)水平分辨率－細(xì)節(jié)信號(hào)格式幀頻率－運(yùn)動(dòng)連續(xù)性閃爍,2 電視信號(hào)及其標(biāo)準(zhǔn),彩色電視信號(hào)制式電視信號(hào)是視頻處理的重要信息源。電視信號(hào)的標(biāo)準(zhǔn)也稱(chēng)為電視的制式。目前各國(guó)的電視制式不盡相同，不同制式之間的主要區(qū)別在于不同的刷新速度、顏色編碼系

10、統(tǒng)和傳送頻率等。目前世界上常用的電視制式有中國(guó)、歐洲使用的PAL制，美國(guó)、日本使用的NTSC制及法國(guó)等國(guó)所使用的SECAM制。,NTSC制,NTSC(National Television Standard Committe)是美國(guó)國(guó)家電視系統(tǒng)委員會(huì)在1953年制定的一種兼容的彩色電視制式，在美國(guó)、日本和其他國(guó)家廣為使用。定義了彩色電視機(jī)對(duì)所接受的電視信號(hào)的解碼方式、色彩的處理方式、屏幕的掃描頻率。NTSC制規(guī)定水平掃描線(xiàn)有525

11、條，以每秒30幀速率傳送。NTSC采用隔行掃描方式，每一幀畫(huà)面由兩次掃描完成，每一次掃描畫(huà)出一個(gè)場(chǎng)需要1/60秒,兩個(gè)場(chǎng)構(gòu)成一幀。,PAL制,PAL(Phase Alternate Lock)是聯(lián)邦德國(guó)1962年制定的一種兼容電視制式。PAL意指“相位逐行交變”，我國(guó)和大部分西歐國(guó)家都使用這種制式。PAL制規(guī)定水平掃描625行、每秒25幀 、隔行掃描、每場(chǎng)需要1/50秒。,SECAM制,SECAM(SEquential Color A

12、nd Memory)稱(chēng)為順序傳送彩色與存儲(chǔ)，是用于法國(guó)、俄羅斯及幾個(gè)東歐國(guó)家的彩色電視制式?；炯夹g(shù)及廣播方式與NTSC和PAL有很大的區(qū)別。625行，25Hz不同制式的電視機(jī)只能接收和處理其對(duì)應(yīng)制式的電視信號(hào)。多制式或全制式的電視機(jī)，為處理和轉(zhuǎn)換不同制式的電視信號(hào)提供了極大的方便。全制式電視機(jī)可在各國(guó)各地區(qū)使用，而多制式電視機(jī)一般為指定范圍的國(guó)家生產(chǎn)。,三種彩色電視制式的主要技術(shù)指標(biāo),,,高清晰度電視技術(shù),高清晰度電視的特點(diǎn)

13、分辨率 縱橫像素?cái)?shù)是傳統(tǒng)的2倍。 縱橫比 W/H=16/9=1.777 觀(guān)看距離 比傳統(tǒng)距離近才能看到細(xì)節(jié) 采用國(guó)際標(biāo)準(zhǔn)的壓縮編碼算法MPEG-II 采用打包數(shù)據(jù)結(jié)構(gòu)，圖像和聲音分成不同分量，數(shù)據(jù)包的大小隨意，傳輸次序隨機(jī)。 高可靠性和抗干擾性。,幾個(gè)HDTV系統(tǒng),European High Definition Multiple Analogue Components (HD-MAC): Defined in Eureka

14、 Project EU95 Cooperation of 35 European industry representatives, television, research entersSome compatibility to existing standardsJapanese Multiple Sub-Nyquist Encoding (MUSE):Not open to TV standardsVertical re

15、solution: 1125 lines, Frame rate: 60 Hz1992: 1 hour/day broadcasting using MUSE standardUSAGoal: compatibility to NTSCVertical resolution: 1050 lines, Frame rate: 59.94,電視視頻信號(hào)的掃描方式,電視攝像機(jī)的作用就是將視頻圖像轉(zhuǎn)換為電信號(hào)。任何時(shí)刻，電信號(hào)只有1個(gè)

16、值（一維）。但視頻圖像通常是二維的，將二維視頻圖像轉(zhuǎn)換為一維電信號(hào)是通過(guò)光柵掃描實(shí)現(xiàn)的。掃描方式主要有逐行掃描和隔行掃描兩種。隔行掃描行的集合稱(chēng)為場(chǎng)。因此，一幀由兩個(gè)場(chǎng)組成。逐行掃描有以下優(yōu)點(diǎn)：圖像垂直清晰度高，空間處理效果好，有利于電視轉(zhuǎn)換和制式轉(zhuǎn)換，能改善視頻壓縮效率，等等。其缺點(diǎn)是：數(shù)碼率高，行掃描頻率增高，硬件難度加大。,奇數(shù)場(chǎng) 偶數(shù)場(chǎng)

17、 一幀,目前的電視系統(tǒng)大都采用隔行掃描，因?yàn)楦粜袙呙枘芄?jié)省頻帶，且硬件實(shí)現(xiàn)簡(jiǎn)單。但逐行掃描能獲得更好的圖像質(zhì)量和更高的清晰度，不過(guò)是以增加帶寬和成本為代價(jià)的。,YUV與RGB彩色模型,YUV模型在PAL彩色電視制式中采用YUV模型來(lái)表示彩色圖像。其是Y表示亮度，U，V用來(lái)表示色差，是構(gòu)成彩色的兩個(gè)分量。在NTSC彩色電視制式中使用YIQ模型，其中的Y表示亮度，I，Q是兩個(gè)彩色分量。YUV表示法的重要性是

18、它的亮度信號(hào)(Y)和色度信號(hào)(U、V)是相互獨(dú)立的，也就是Y信號(hào)分量構(gòu)成的黑白灰度圖與用U、V信號(hào)構(gòu)成的另外兩幅單色圖是相互獨(dú)立的。由于Y、U、V是獨(dú)立的，所以可以對(duì)這些單色圖分別進(jìn)行編碼。采用YUV模型的優(yōu)點(diǎn)之一是亮度信號(hào)和色差信號(hào)是分離的，使彩色電視系統(tǒng)與黑白電視機(jī)亮度信號(hào)兼容。,PAL彩色電視制式中采用YUV模型來(lái)表示彩色圖像,RGB模型,RGB分別代表紅（Red）、綠(Green)、藍(lán)（Blue）三種基本顏色。電視機(jī)和計(jì)算機(jī)

19、顯示器使用的陰極射線(xiàn)管(Cathode Ray Tube，CRT)是一個(gè)有源物體。CRT使用3個(gè)電子槍分別產(chǎn)生紅、綠和藍(lán)三種波長(zhǎng)的光(RGB三種電子束)，并以各種不同的相對(duì)強(qiáng)度轟擊CRT的熒光涂層屏幕以產(chǎn)生顏色。組合這三種光波以產(chǎn)生特定顏色稱(chēng)為相加混色，或稱(chēng)為RGB相加模型。相加混色是計(jì)算機(jī)應(yīng)用中定義顏色的基本方法。,CRT顯示器采用RGB彩色模型 A-陰極 B-導(dǎo)電涂層 C-陽(yáng)極 D-熒光屏 E-電子束

20、F-蔭罩板,YUV與RGB彩色空間變換,由于所有的顯示器都采用RGB值來(lái)驅(qū)動(dòng)，這就要求在顯示每個(gè)像素之前，需要把YUV彩色分量值轉(zhuǎn)換成RGB值。這種轉(zhuǎn)換需要花費(fèi)一定的計(jì)算時(shí)間，設(shè)計(jì)軟硬件視頻處理系統(tǒng)時(shí)要綜合考慮。在考慮人的視覺(jué)系統(tǒng)和陰極射線(xiàn)管(CRT)的非線(xiàn)性特性之后，RGB和YUV的對(duì)應(yīng)關(guān)系可以近似地用下面的方程式表示： Y = 0.299R + 0.587G + 0.114B U = - 0.169R - 0.331G +

21、0.5B V = 0.500R - 0.419G - 0.081B,寫(xiě)成矩陣的形式:,,彩色電視的信號(hào)類(lèi)型,電視頻道傳送的電視信號(hào)主要包括亮度信號(hào)、色度信號(hào)、復(fù)合同步信號(hào)和伴音信號(hào)，這些信號(hào)或者可通過(guò)頻率域，或者可通過(guò)時(shí)間域相互分離出來(lái)。電視接收機(jī)能夠?qū)⑺邮盏降母哳l電視信號(hào)還原成視頻信號(hào)和低頻伴音信號(hào)，并能夠在其熒光屏上重現(xiàn)圖像，在其揚(yáng)聲器上重現(xiàn)伴音。根據(jù)不同的信號(hào)源，電視接收機(jī)的輸入、輸出信號(hào)有三種類(lèi)型。,高頻或射頻信號(hào),

22、為了能夠在空中傳播電視信號(hào)，必須把視頻全電視信號(hào)調(diào)制成高頻或射頻（RF－Radio Frequency）信號(hào)，每個(gè)信號(hào)占用一個(gè)頻道，這樣才能在空中同時(shí)傳播多路電視節(jié)目而不會(huì)導(dǎo)致混亂。PAL制每個(gè)頻道占用8MHz的帶寬；NTSC制每個(gè)頻道的帶寬為6MHz。有線(xiàn)電視CATV（Cable Television）的工作方式類(lèi)似，只是它通過(guò)電纜而不是通過(guò)空中傳播電視信號(hào)。電視機(jī)在接收受到某一頻道的高頻信號(hào)后，要把全電視信號(hào)從高頻信號(hào)中解調(diào)出來(lái)

23、，才能在屏幕上重現(xiàn)視頻圖像。,復(fù)合視頻信號(hào),為便于電視信號(hào)遠(yuǎn)距傳輸，必須把三個(gè)分量信號(hào)以及同步信號(hào)復(fù)合成一個(gè)信號(hào)，然后才進(jìn)行傳輸。復(fù)合視頻信號(hào)定義為包括亮度和色度的單路模擬信號(hào)，也即從全電視信號(hào)中分離出伴音后的視頻信號(hào)，這時(shí)的色度信號(hào)是間插在亮度信號(hào)的高端，在信號(hào)重放時(shí)很難恢復(fù)完全一致的色彩。這種信號(hào)一般可通過(guò)電纜輸入或輸出到家用錄像機(jī)上，其信號(hào)帶寬較窄，一般只有240線(xiàn)左右的水平分解率。早期的電視機(jī)都只有天線(xiàn)輸入端口，較新型的電視

24、機(jī)才備有復(fù)合視頻輸入和輸出端（Video In，Video Out），也即可以直接輸入和輸出解調(diào)后的視頻信號(hào)。視頻信號(hào)已不包含高頻分量，處理起來(lái)相對(duì)簡(jiǎn)單一些，因此計(jì)算機(jī)的視頻卡一般都采用復(fù)合視頻輸入端口獲取視頻信號(hào)。由于視頻信號(hào)中已不包含伴音，故一般與視頻輸入、輸出端口配套的還有音頻輸入、輸出端口，以便同步傳輸伴音。,分量視頻信號(hào)與S－Video,為保證視頻信號(hào)質(zhì)量，近距離時(shí)可用分量視頻信號(hào)(component video signa

25、l)傳輸, 分量信號(hào)是指每個(gè)基色分量( R,G,B 或 Y,U,V )作為獨(dú)立的電視信號(hào)傳輸。計(jì)算機(jī)輸出的VGA視頻信號(hào)，即為分量形式的視頻信號(hào)。S－Video 是一種兩分量的視頻信號(hào)，它把亮度和色度信號(hào)分成兩路獨(dú)立的模擬信號(hào)，用兩路導(dǎo)線(xiàn)分別傳輸并可以分別記錄在模擬磁帶的兩路磁軌上。這種信號(hào)不僅其亮度和色度都具有較寬的帶寬，而且由于亮度和色度分開(kāi)傳輸，可以減少其互相干擾，水平分解率可達(dá)420線(xiàn)。與復(fù)合視頻信號(hào)相比，S－Video可以更

26、好地重現(xiàn)色彩。,兼有復(fù)合視頻接口和S-Video接口的視頻卡,復(fù)合視頻插頭,S-video電纜線(xiàn)及接口,3 視頻的數(shù)字化過(guò)程,要讓計(jì)算機(jī)處理視頻信息，首先要解決的是視頻數(shù)字化的問(wèn)題。視頻數(shù)字化是將模擬視頻信號(hào)經(jīng)模數(shù)轉(zhuǎn)換和彩色空間變換轉(zhuǎn)為計(jì)算機(jī)可處理的數(shù)字信號(hào)。與音頻信號(hào)數(shù)字化類(lèi)似，計(jì)算機(jī)也要對(duì)輸入的模擬視頻信息進(jìn)行采樣與量化，并經(jīng)編碼使其變成數(shù)字化圖像。,視頻信號(hào)的采樣,對(duì)視頻采樣的基本要求要滿(mǎn)足采樣定理。對(duì)于PAL制電視信號(hào),視

27、頻帶寬為6MHz，按照CCIR601建議，亮度信號(hào)的采樣頻率為13.5MHz ，色度信號(hào)為6.75MHz。 采樣頻率必須是行頻的整數(shù)倍。這樣可以保證每行有整數(shù)個(gè)取樣點(diǎn)，同時(shí)要使得每行取樣點(diǎn)數(shù)目一樣多，便于數(shù)據(jù)處理。 要滿(mǎn)足兩種掃描制式。,數(shù)字視頻信號(hào)的采樣頻率和格式,現(xiàn)行的掃描制式主要有625行/50場(chǎng)和525行/60場(chǎng)兩種，它們的行頻分別為15625Hz和15734.265Hz。ITU(國(guó)際電信聯(lián)盟）建議的分量編碼標(biāo)準(zhǔn)的亮度抽樣

28、頻率為13.5兆赫，這恰好是上述兩種行頻的整數(shù)倍。按照國(guó)際現(xiàn)行電視制式，亮度信號(hào)最大帶寬是6MHz。根據(jù)奈奎斯特抽樣定理，抽樣頻率至少要大于2×6＝12MHz，因此取13.5MHz也是合適的。,數(shù)字視頻的采樣格式,根據(jù)電視信號(hào)的特征，亮度信號(hào)的帶寬是色度信號(hào)帶寬的兩倍。因此其數(shù)字化時(shí)對(duì)信號(hào)的色差分量的采樣率低于對(duì)亮度分量的采樣率。如果用Y：U：V來(lái)表示YUV三分量的采樣比例，則數(shù)字視頻的采樣格式分別有4:1:1、4:2:2和4

29、:4:4三種。電視圖像既是空間的函數(shù)，也是時(shí)間的函數(shù)，而且又是隔行掃描式，所以其采樣方式比掃描儀掃描圖像的方式要復(fù)雜得多。分量采樣時(shí)采到的是隔行樣本點(diǎn)，要把隔行樣本組合成逐行樣本，然后進(jìn)行樣本點(diǎn)的量化，YUV到RGB色彩空間的轉(zhuǎn)換等等，最后才能得到數(shù)字視頻數(shù)據(jù)。,4:2:2采樣格式,模擬視頻的數(shù)字化包括不少技術(shù)問(wèn)題，如電視信號(hào)具有不同的制式而且采用復(fù)合的YUV信號(hào)方式，而計(jì)算機(jī)工作在RGB空間；電視機(jī)是隔行掃描，計(jì)算機(jī)顯示器大多逐行掃

30、描；電視圖像的分辨率與顯示器的分辨率也不盡相同等等。因此，模擬視頻的數(shù)字化主要包括色彩空間的轉(zhuǎn)換、光柵掃描的轉(zhuǎn)換以及分辨率的統(tǒng)一。模擬視頻一般采用分量數(shù)字化方式，先把復(fù)合視頻信號(hào)中的亮度和色度分離，得到Y(jié)UV或YIQ分量，然后用三個(gè)模／數(shù)轉(zhuǎn)換器對(duì)三個(gè)分量分別進(jìn)行數(shù)字化，最后再轉(zhuǎn)換成RGB空間。,為了在PAL、NTSC和 SECAM電視制式之間確定共同的數(shù)字化參數(shù)，國(guó)家無(wú)線(xiàn)電咨詢(xún)委員會(huì)（CCIR）制定了廣播級(jí)質(zhì)量的數(shù)字電視編碼標(biāo)準(zhǔn)，稱(chēng)為

31、CCIR 601標(biāo)準(zhǔn)(現(xiàn)在的ITU-R標(biāo)準(zhǔn))。在該標(biāo)準(zhǔn)中，對(duì)采樣頻率、采樣結(jié)構(gòu)、色彩空間轉(zhuǎn)換等都作了嚴(yán)格的規(guī)定。根據(jù)實(shí)驗(yàn)，人眼對(duì)顏色的敏感程度遠(yuǎn)不如對(duì)亮度信號(hào)那么靈敏，所以色度信號(hào)的取樣頻率可以比亮度信號(hào)的取樣頻率低，以減少數(shù)字視頻的數(shù)據(jù)量。ITU-R建議使用了4:2:2采樣結(jié)構(gòu)。,,4:2:2是指色度信號(hào)取亮度信號(hào)取樣頻率的一半。當(dāng)以4：2：2格式采樣時(shí) ，每4個(gè)連續(xù)的采樣點(diǎn)中取4個(gè)亮度Y、2個(gè)色差U、2個(gè)色差V的樣本值，共8個(gè)樣

32、本值。,,,,,,,根據(jù)ITU推薦的采樣率，可計(jì)算出在不同的采樣格式下數(shù)字視頻的數(shù)據(jù)量: 未壓縮的數(shù)字視頻數(shù)據(jù)量十分巨大，對(duì)于目前的計(jì)算機(jī)和網(wǎng)絡(luò)存儲(chǔ)或傳輸都是不現(xiàn)實(shí)的，因此在多媒體中應(yīng)用數(shù)字視頻的關(guān)鍵問(wèn)題是數(shù)字視頻的壓縮技術(shù)。,公用中分辨率格式CIF(Common Intermediate Format),,,,量化,采樣是把模擬信號(hào)變成了時(shí)間上離散的脈沖信號(hào)，量化則是進(jìn)行幅度上的離散化處理。量化后的信號(hào)電平與原模擬信號(hào)電

33、平之間在大多數(shù)情況下總是存在有一定的誤差，量化所引入的誤差是不可避免的同時(shí)也是不可逆的，由于信號(hào)的隨機(jī)性這種誤差大小也是隨機(jī)的，這種表現(xiàn)類(lèi)似于隨機(jī)噪聲效果，具有相當(dāng)寬度的頻譜，因此我們又把量化誤差稱(chēng)為量化噪聲。但量化誤差與噪聲是有本質(zhì)的區(qū)別的。當(dāng)二個(gè)原來(lái)不同的數(shù)值用同一個(gè)二進(jìn)制值來(lái)表示時(shí)，實(shí)際數(shù)值與記錄數(shù)值之差就成為量化噪聲。所以，比特率決定了整個(gè)系統(tǒng)的理想狀態(tài)下的最小噪聲、動(dòng)態(tài)范圍和信噪比，模擬信號(hào)在理想狀態(tài)是沒(méi)有這種限制的。,量化

34、比特率愈高，層次就分得愈細(xì)，但數(shù)據(jù)量也成倍上升。每增加一個(gè)比特，數(shù)據(jù)量就翻一翻。量化的過(guò)程是不可逆的，這是因?yàn)榱炕旧斫o信號(hào)帶來(lái)的損傷是不可彌補(bǔ)的。量化時(shí)比特?cái)?shù)選取過(guò)小則不足以反映出圖像的細(xì)節(jié)，比特?cái)?shù)選取過(guò)大則會(huì)產(chǎn)生龐大的數(shù)碼率，從而占用大量的頻帶，給傳輸帶來(lái)困難。降低量化誤差的方法最直接的就是增加量化級(jí)數(shù)減小最小量化間隔，但由此帶來(lái)碼率的增加從而要求更大的處理帶寬，一般現(xiàn)在的視頻信號(hào)均采用8比特、10比特，在信號(hào)質(zhì)量要求較高的情況

35、下采用12比特量化。,正如模擬音頻信號(hào)傳輸過(guò)程中采用不均勻量化一樣。在視頻信號(hào)的量化過(guò)程中也可以采用不均勻量化方式，即將模擬信號(hào)先進(jìn)行對(duì)數(shù)變換，其目的是讓變化量大的地方變化小，讓變化量小的地方變化大，然后，再進(jìn)行普通的8比特量化，經(jīng)傳輸后再恢復(fù)出來(lái)的模擬信號(hào)可以通過(guò)指數(shù)變換予以還原，此時(shí)，信號(hào)傳輸?shù)男Ч?lèi)似于12比特量化的效果。,視頻信號(hào)的壓縮與編碼,抽樣、量化后的信號(hào)轉(zhuǎn)換成數(shù)字符號(hào)才能進(jìn)行傳輸，這一過(guò)程稱(chēng)為編碼。視頻壓縮編碼的理論基礎(chǔ)

36、是信息論。信息壓縮就是從時(shí)間域、空間域兩方面去除冗余信息，將可推知的確定信息去掉。在通信理論中，編碼分為信源編碼和信道編碼兩大類(lèi)。所謂信源編碼是指將信號(hào)源中多余的信息除去，形成一個(gè)適合傳輸?shù)男盘?hào)。為了抑制信道噪聲對(duì)信號(hào)的干擾，往往還需要對(duì)信號(hào)進(jìn)行再編碼，使接收端能夠檢測(cè)或糾正數(shù)據(jù)在信道傳輸過(guò)程引起的錯(cuò)誤，這稱(chēng)為信道編碼。視頻編碼技術(shù)主要包括MPEG與H.261標(biāo)準(zhǔn)，編碼技術(shù)主要分成幀內(nèi)編碼和幀間編碼。前者用于去掉圖像的空間冗余信息，

37、后者用于去除圖像的時(shí)間冗余信息。,數(shù)字視頻DV格式,數(shù)字視頻（Digital Video-DV）是定義壓縮圖像和聲音數(shù)據(jù)記錄及回放過(guò)程的標(biāo)準(zhǔn)。DV格式是一種國(guó)際通用的數(shù)字視頻標(biāo)準(zhǔn)，是由10余家公司共同制定的標(biāo)準(zhǔn)。 DV格式具有如下視頻特點(diǎn)： 高清晰度，水平分辨率可達(dá)500線(xiàn)； 寬色度帶寬，還原色彩絢麗的圖像；,當(dāng)前有三種常用DV格式：miniDV、DVCPro和DVCam。miniDV 最常見(jiàn)，通常是家用攝像機(jī)使用的格式。

38、DVCPro和DVCam為專(zhuān)業(yè)格式。DV格式數(shù)字?jǐn)z像機(jī)對(duì)視頻采用 4:1:1數(shù)字分量采樣標(biāo)準(zhǔn)，8比特量化，基于離散余弦變量DCT的5:1幀內(nèi)壓縮，數(shù)據(jù)傳輸率為24.948 Mbps。,4 基于多媒體計(jì)算機(jī)的視頻處理系統(tǒng),在多媒體計(jì)算機(jī)系統(tǒng)中，視頻處理一般是借助于一些相關(guān)的硬件和軟件，在計(jì)算機(jī)上對(duì)輸入的視頻信號(hào)進(jìn)行接收、采集、傳輸、壓縮、存儲(chǔ)、編輯、顯示、回放等多種處理。視頻信號(hào)主要是指來(lái)自電視機(jī)、錄/放像機(jī)、攝像機(jī)等視頻設(shè)備的信號(hào)

39、，也可以是來(lái)自影碟機(jī)的影視節(jié)目。,數(shù)字視頻系統(tǒng)的組成,從硬件平臺(tái)的角度分析，一個(gè)視頻采集系統(tǒng)要包括視頻采集設(shè)備、視頻信號(hào)源設(shè)備、大容量存儲(chǔ)設(shè)備、以及配置有相應(yīng)視頻處理軟件的高性能計(jì)算機(jī)系統(tǒng)。 提供模擬視頻輸出的設(shè)備有錄像機(jī)、電視機(jī) 、影碟機(jī)等；對(duì)模擬視頻信號(hào)進(jìn)行采集、量化和編碼的設(shè)備由視頻采集卡來(lái)完成；計(jì)算機(jī)接收和記錄編碼后的數(shù)字視頻數(shù)據(jù)。視頻采集卡不僅提供接口以連接模擬視頻設(shè)備和計(jì)算機(jī)，而且具有把模擬信號(hào)轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)的功能。

40、,視頻采集卡的工作原理,視頻采集卡是一個(gè)安裝在計(jì)算機(jī)擴(kuò)展槽上的一個(gè)硬卡。它可以匯集多種視頻源的信息，如電視、影碟、錄像機(jī)和攝像機(jī)的視頻信息，對(duì)被捕捉和采集到的畫(huà)面進(jìn)行數(shù)字化、凍結(jié)、存儲(chǔ)、輸出及其他處理操作，如編輯、修整、裁剪、按比例繪制、像素顯示調(diào)整、縮放功能等。視頻采集卡一般具有多種視頻接口，可接收來(lái)自攝像機(jī) 、錄像機(jī)、VCD機(jī)等多種視頻信號(hào)，通過(guò)視頻軟件可選擇所需的視頻源。,,視頻卡的工作原理框圖,視頻采集卡的性能指標(biāo),接口 視

41、頻采集卡的接口包括視頻與PC機(jī)的接口和與模擬視頻設(shè)備的接口。目前PC 視頻采集卡通常采用32位的PCI總線(xiàn)接口，它插到PC機(jī)主板的擴(kuò)展槽中，以實(shí)現(xiàn)采集卡與PC機(jī)的通信與數(shù)據(jù)傳輸。 視頻采集卡至少要具有一個(gè)復(fù)合視頻接口（Video In）以便與模擬視頻設(shè)備相連。高性能的采集卡一般具有一個(gè)復(fù)合視頻接口和一個(gè)S－Video接口。一般的采集卡都支持PAL和NTSC兩種電視制式。,視頻采集卡如果不具備電視天線(xiàn)接口和音頻輸入接口，就不能用視頻采集

42、卡直接采集電視射頻信號(hào)，同時(shí)也不能直接采集到模擬視頻中的伴音信號(hào)。要采集伴音，PC機(jī)上必需要裝有聲卡，視頻采集卡通過(guò)PC機(jī)上的聲卡獲取數(shù)字化的伴音并把伴音與采集到的數(shù)字視頻同步到一起。 一般而言, 視頻采集卡有單工卡和雙工卡兩種。單工卡只提供視頻輸入接口,雙工卡還提供輸出接口。如果只需在PC機(jī)上編輯數(shù)字化視頻,單工卡就可以了。若想把數(shù)字化編輯過(guò)后的影像拷貝到錄像帶上,就需要雙工卡。,具有多種接口的視頻采集卡與視頻源的連接,實(shí)縮壓縮功

43、能 視頻采集卡要采集模擬視頻序列中的每幀圖像，并在采集下一幀圖像之前把這些數(shù)據(jù)傳入PC系統(tǒng)。因此，實(shí)現(xiàn)實(shí)時(shí)采集的關(guān)鍵是每一幀所需的處理時(shí)間。如果每幀視頻圖像的處理時(shí)間超過(guò)相鄰兩幀之間的相隔時(shí)間，則要出現(xiàn)數(shù)據(jù)的丟失，也即丟幀現(xiàn)象。采集卡都是把獲取的視頻序列先進(jìn)行壓縮處理，然后再存入硬盤(pán)，也就是說(shuō)視頻序列的獲取和壓縮是在一起完成的，免除了再次進(jìn)行壓縮處理的不便。不同檔次的采集卡具有不同質(zhì)量的采集壓縮性能。 大多數(shù)視頻采集卡都具

44、備硬件壓縮的功能，在采集視頻信號(hào)時(shí)首先在卡上對(duì)視頻信號(hào)進(jìn)行壓縮，然后再通過(guò)接口把壓縮的視頻數(shù)據(jù)傳送到主機(jī)上。,采集分辨率及幀頻 視頻采集卡按照其用途可以分為廣播級(jí)視頻采集卡，專(zhuān)業(yè)級(jí)視頻采集卡，民用級(jí)視頻采集卡。廣播級(jí)視頻采集卡屬高檔設(shè)備，主要用于電視臺(tái)制作節(jié)目。最高采集分辨率一般720?576(CCIR推薦值),PAL制,每秒25幀 ；或分辨率為 640?480，NTSC制，每秒30幀。最小壓縮比一般在4:1以?xún)?nèi)。這一類(lèi)產(chǎn)品的特點(diǎn)是

45、采集的圖像分辨率高，視頻信噪比高，缺點(diǎn)是視頻文件龐大，每分鐘數(shù)據(jù)量至少為200MB。 專(zhuān)業(yè)級(jí)視頻采集卡比廣播級(jí)視頻采集卡的性能稍微低一些，分辨率兩者是相同的 ，但壓縮比稍微大一些，其最小壓縮比一般在6:1以?xún)?nèi)，輸入輸出接口為AV復(fù)合端子與S端子，此類(lèi)產(chǎn)品適用于廣告、多媒體節(jié)目制作及多媒體軟件開(kāi)發(fā)。民用級(jí)的視頻采集卡的動(dòng)態(tài)分辨率一般最大為384?288，PAL制式，幀頻為每秒25幀。,驅(qū)動(dòng)和應(yīng)用程序,視頻采集卡一般都配有硬件驅(qū)動(dòng)程序以

46、實(shí)現(xiàn)PC機(jī)對(duì)采集卡的控制和數(shù)據(jù)通信。根據(jù)不同的采集卡所要求的操作系統(tǒng)環(huán)境，各有不同的驅(qū)動(dòng)程序。采集卡只有在正確安裝了驅(qū)動(dòng)程序以后才能正常工作。也可以采用通用的軟件，例如數(shù)字視頻編輯軟件Adobe Premiere。,其他功能的視頻卡,視頻輸出卡-TV Coder 經(jīng)過(guò)計(jì)算機(jī)加工處理的視頻數(shù)據(jù)以視頻文件的格式進(jìn)行存儲(chǔ)和交流，但不能以錄像帶的形式進(jìn)行傳播或者直接在電視機(jī)上收看。視頻輸出卡的功能是將計(jì)算機(jī)顯示卡輸出的VGA信號(hào)轉(zhuǎn)換為標(biāo)準(zhǔn)

47、的視頻信號(hào)，以PAL和NTSC兩種制式輸出，從而可在電視上觀(guān)看計(jì)算機(jī)顯示器上的畫(huà)面，或?qū)⑵渫ㄟ^(guò)錄像機(jī)錄制到錄像帶上 。,MPEG卡MPEG壓縮卡用于將視頻影像壓縮成MPEG的格式。它首先將模擬音視頻信號(hào)數(shù)字化，然后按MPEG標(biāo)準(zhǔn)的壓縮算法分別對(duì)數(shù)字音視頻信號(hào)進(jìn)行壓縮編碼，產(chǎn)生一個(gè)碼率約為1.5Mb/s的MPEG復(fù)合音視頻碼流，最后再轉(zhuǎn)變?yōu)?mpg格式的文件儲(chǔ)存在硬盤(pán)上。 MPEG解壓卡是采用硬件方式將壓縮后的VCD影碟數(shù)據(jù)解壓后進(jìn)行

48、回放。當(dāng)計(jì)算機(jī)將CD-ROM內(nèi)的數(shù)據(jù)傳送到MPEG卡上時(shí)，通過(guò)卡上的MPEG解碼器，將已壓縮的數(shù)據(jù)進(jìn)行解壓。,,MPEG編碼卡,,電視接收卡電視卡（TV TUNER)從工作原理上看相當(dāng)于一臺(tái)數(shù)字式電視機(jī)。它首先將從天線(xiàn)接收下來(lái)的射頻信號(hào)變換成視頻信號(hào)，然后經(jīng)A/D轉(zhuǎn)換器變?yōu)閿?shù)字信號(hào)，再經(jīng)變換電路變?yōu)镽GB模擬信號(hào)，最后通過(guò)D/A轉(zhuǎn)換變?yōu)槟MRGB信號(hào)送顯示器上顯示。因?yàn)殡娨暱ú捎弥鹦袙呙璺绞?，加上?jì)算機(jī)顯示點(diǎn)距小，分辨率高，所以整個(gè)

49、電視圖像看上去清晰穩(wěn)定，完全可以與電視機(jī)媲美。,外置式(左)與內(nèi)置式（右）電視卡,5 視頻文件的類(lèi)型,AVI文件 AVI（Audio Video Interleave）是一種音頻視像交插記錄的數(shù)字視頻文件格式。1992年初微軟公司推出了AVI技術(shù)及其應(yīng)用軟件VFW（Video for Windows）。在AVI文件中，運(yùn)動(dòng)圖像和伴音數(shù)據(jù)是以交織的方式存儲(chǔ)，并獨(dú)立于硬件設(shè)備, 在讀取視頻數(shù)據(jù)流時(shí)能更有效地從存儲(chǔ)媒介得到連續(xù)的信息。A

50、VI文件結(jié)構(gòu)不僅解決了音頻和視頻的同步問(wèn)題，而且具有通用和開(kāi)放的特點(diǎn) 。它可以在任何Windows環(huán)境下工作，而且還具有擴(kuò)展環(huán)境的功能。用戶(hù)可以開(kāi)發(fā)自己的AVI視頻文件格式，在Windows環(huán)境下可隨時(shí)調(diào)用?？梢杂靡话愕囊曨l編輯軟件如 Adobe Premiere進(jìn)行編輯和處理。,MOV文件 Apple公司在其生產(chǎn)的Macintosh機(jī)也推出了相應(yīng)的視頻格式 ，即 Movie digital video 的文件格式，其文件以MOV為

51、后綴，相應(yīng)的視頻應(yīng)用軟件為 Apple's QuickTime for Macintosh。隨著大量原本運(yùn)行在Macintosh上的多媒體軟件向PC/Windows環(huán)境的移植，導(dǎo)致了QuickTime視頻文件的流行。Apple公司也推出了適用于PC機(jī)的視頻應(yīng)用軟件Apple's QuickTime for Windows，因此在PC機(jī)上也可以播放MOV視頻文件。,MOV格式的視頻文件可以采用不壓縮或壓縮的方式Qui

52、ckTime還采用了一種稱(chēng)為 QuickTime VR的虛擬現(xiàn)實(shí)（VR，Virtual Reality）技術(shù) ，用戶(hù)只需通過(guò)鼠標(biāo)或鍵盤(pán)，就可以觀(guān)察某一地點(diǎn)周?chē)?60度的景象，或者從空間任何角度觀(guān)察某一物體。,MEPG文件-MPEG/MPG/DAT格式將MPEG算法用于壓縮全運(yùn)動(dòng)視頻圖像，就可以生成全屏幕活動(dòng)視頻標(biāo)準(zhǔn)文件：MPG文件。MPG格式文件在1024?786的分辯率下可以用每秒25幀（或30幀）的速率同步播放全運(yùn)動(dòng)視頻圖像和CD

53、音樂(lè)伴音，并且其文件大小僅為AVI文件的六分之一。MPEG-2壓縮技術(shù)采用可變速率（VBR-Variable Bit Rate）技術(shù)，能夠根據(jù)動(dòng)態(tài)畫(huà)面的復(fù)雜程度，適時(shí)改變數(shù)據(jù)傳輸率獲得較好的編碼效果，目前使用的DVD就是采用了這種技術(shù)。MPEG的平均壓縮比為50∶1，最高可達(dá)200∶1。同時(shí)圖像和音響的質(zhì)量也非常好。MPEG標(biāo)準(zhǔn)包括MPEG視頻、MPEG音頻和MPEG系統(tǒng) (視頻、音頻同步)三個(gè)部分，MP3音頻文件就是MPEG音頻的

54、一個(gè)典型應(yīng)用，而VCD、SVCD、DVD則是全面采用MPEG技術(shù)所產(chǎn)生出來(lái)的新型消費(fèi)類(lèi)電子產(chǎn)品。,RAM格式很多視頻數(shù)據(jù)通過(guò)Internet來(lái)進(jìn)行實(shí)時(shí)傳輸，視頻文件的體積往往比較大，而現(xiàn)有的網(wǎng)絡(luò)帶寬卻往往比較“狹窄”，客觀(guān)因素限制了視頻數(shù)據(jù)的實(shí)時(shí)傳輸和實(shí)時(shí)播放，于是一種新型的流式視頻(Streaming Video)格式應(yīng)運(yùn)而生了。流式視頻采用一種“邊傳邊播”的方法，即先從服務(wù)器上下載一部分視頻文件，形成視頻流緩沖區(qū)后實(shí)時(shí)播放，同時(shí)

55、繼續(xù)下載，為接下來(lái)的播放做好準(zhǔn)備。這種方法避免了用戶(hù)必須等待整個(gè)文件從Internet上全部下載完畢才能觀(guān)看的缺點(diǎn)。,RealNetworks公司所制定的音頻視頻壓縮規(guī)范稱(chēng)為RealMedia，是目前在Internet上的跨平臺(tái)的客戶(hù)/服務(wù)器結(jié)構(gòu)的多媒體應(yīng)用標(biāo)準(zhǔn)，采用音頻/視頻流和同步回放技術(shù)來(lái)實(shí)現(xiàn)在Internet上流媒體技術(shù)，能夠在Internet上以28.8kb/s的傳輸速率提供立體聲和連續(xù)視頻。RealMedia包括三類(lèi)文件：

56、RealAudio、RealVideo及RealFlash。RealAudio用來(lái)傳輸接近CD音質(zhì)的音頻數(shù)據(jù)，RealVideo用來(lái)傳輸連續(xù)視頻數(shù)據(jù)，而RealFlash則是RealNetworks公司與Macromedia公司新近合作推出的一種高壓縮比的動(dòng)畫(huà)格式。RealMedia根據(jù)網(wǎng)絡(luò)數(shù)據(jù)傳輸速率的不同制定了不同的壓縮比率 ，現(xiàn)在大多使用其中的 14.4kb/s、28.8kb/s 以及 ISDN 56kb/s這三種不同速率下的R

57、ealMedia流格式。,ASF,ASF是一種數(shù)據(jù)格式，音頻、視頻、圖像以及控制命令腳本等多媒體信息通過(guò)這種格式，以網(wǎng)絡(luò)數(shù)據(jù)包的形式傳輸，實(shí)現(xiàn)流式多媒體內(nèi)容發(fā)布。ASF最大優(yōu)點(diǎn)就是體積小，因此適合網(wǎng)絡(luò)傳輸，使用微軟公司的最新媒體播放器（Microsoft Windows Media Player）可以直接播放該格式的文件。用戶(hù)可以將圖形、聲音和動(dòng)畫(huà)數(shù)據(jù)組合成一個(gè)ASF格式的文件，當(dāng)然也可以將其他格式的視頻和音頻轉(zhuǎn)換為ASF格式。A

58、SF格式的視頻中可以帶有命令代碼，用戶(hù)指定在到達(dá)視頻或音頻的某個(gè)時(shí)間后觸發(fā)某個(gè)事件或操作。,WMV,Microsoft公司出品的視頻格式文件，希望取代QuickTime之類(lèi)的技術(shù)標(biāo)準(zhǔn)以及WAV、AVI之類(lèi)的文件。wmv的主要優(yōu)點(diǎn)包括：本地或網(wǎng)絡(luò)回放、可擴(kuò)充的媒體類(lèi)型、部件下載、可伸縮的媒體類(lèi)型、流的優(yōu)先級(jí)化、多語(yǔ)言支持、環(huán)境獨(dú)立性、豐富的流間關(guān)系以及擴(kuò)展性等。 WMA格式的音樂(lè)文件的突出特點(diǎn)是提供了比MP3音樂(lè)文件更大的壓