多媒體系統(tǒng)平臺(tái)

1、多媒體系統(tǒng)平臺(tái),什么是多媒體系統(tǒng)平臺(tái)？ ----供用戶開發(fā)各種多媒體應(yīng)用的計(jì)算機(jī)系統(tǒng) 條件：。多媒體的獲取與演示。多媒體數(shù)據(jù)的管理與操作。用戶開發(fā)環(huán)境,1基于PC計(jì)算機(jī)的多媒體系統(tǒng) -- MPC,MPC 定義（1990年）：。主機(jī)： 80386SX， 2M 內(nèi)存， 30M 硬盤。VGA 顯示卡。 CD-ROM 驅(qū)動(dòng)器。聲卡，MIDI接口。１０１鍵盤，鼠標(biāo)器。DOS 3.1 或　WINDOW

2、S 3.1。圖象卡（可選項(xiàng)）,MPC 結(jié)構(gòu)圖,,1。1。CD-ROM與光盤系統(tǒng),．原理與分類。盤面：　覆蓋層：刻有細(xì)槽，稱為凹坑，其余為凸岸（Land） 反射層：在凹坑處能反射光線。工作原理：　在激光照射下, 凹坑與凸岸分別產(chǎn)生不同的光反射現(xiàn)象，從而編碼成為"0""1"數(shù)碼。,,。 特點(diǎn)：1。高密度，道寬 d1 = 0。6μm ，

3、 道間距d2 = 1。6μm 每英寸 16000 道，（磁盤 96 道） 數(shù)據(jù)密度1 M bit/平方毫米2。高可靠，不受溫度、電磁影響， 平常條件下30年不變 。類型： 可讀寫光盤（R/W）:一次寫入光盤（WORM）只讀光盤（CD-ROM）,．,CD-DA : 音樂光盤，稱為紅皮書，

4、 數(shù)據(jù)格式： 擴(kuò)充：CD-G 圖象光盤， CD_V 視頻光盤CD-ROM: 數(shù)據(jù)光盤，稱為黃皮書，音樂、數(shù)據(jù)共存數(shù)據(jù)格式：,二。標(biāo)準(zhǔn)格式．,3．CD-ROM/XA: 多媒體光盤；采用Subheader分別 4．其他：CD-I 交互多媒體系統(tǒng)CD-I專用 ； CD-MO 磁光盤；DVI DVI系統(tǒng)專用,三。CD-ROM 驅(qū)動(dòng)器．速度：300

5、k Byte/秒； ．存取時(shí)間：200--400 ms ; 尋址 1000ms．容量： 640M Byte,1.2聲卡,一． 聲音處理1．聲音輸入輸出：A/D,D/A, 濾波2．聲音壓縮: DSP芯片,ADPCM編碼3．混音器拾聲，CD/ DA ， 話筒（MIC），合成器(FM)二．合成器 -人工合成聲音1．波形表：各種樂器的音色參數(shù)2．合成器FM頻率調(diào)制合成，

6、產(chǎn)生不同頻率和波形振幅，產(chǎn)生不同聲音。,1.2聲卡,三．MIDI．定義：電子樂器的接口，實(shí)質(zhì)上是音樂信息處理器。．要素： 1 )硬件端口：MIDI端口 2 )MIDI數(shù)據(jù)格式文件： ·音符(note)：時(shí)間，基頻，音量 ·消息：事件-動(dòng)作：按鍵盤，力度，調(diào)音塊滑動(dòng) 3）裝置、通道,三. MIDI,3．裝置：·合成器，波形發(fā)生器 （音

7、質(zhì)，音色，音量）·控制鍵盤，功能面板·微處理器，存儲(chǔ)器·音序器（編輯器）·節(jié)律器4．消息：·傳遞事件信息·數(shù)據(jù)/狀態(tài)·類型：通道（達(dá)16種）系統(tǒng)信息：時(shí)鐘，同步信號(hào)，命令,1.2圖像卡,一．功能：1．捕捉實(shí)時(shí)視頻圖像（PAL，NTSC制），數(shù)字化，存儲(chǔ)。2．控制視頻圖像的顯示，開窗，放大。3．疊加VGA圖形文字。二. 基本結(jié)

8、構(gòu)：,二. 基本結(jié)構(gòu)：,1.輸入模塊：·A/D轉(zhuǎn)換：（TDA8708）數(shù)字化PAL，NTSC編碼，13.5M采樣率·數(shù)字解碼：（SAA9051）得到Y(jié)UV， 色調(diào)，亮度控制·同步控制，鎖相（SAA9057）2．視窗控制塊：82C9001A與VRAM·實(shí)時(shí)開窗顯示。·放大，漂移。·馬賽克效應(yīng)。·VGA聯(lián)合顯示，色彩聯(lián)合3．顯示：·色彩空間

9、轉(zhuǎn)換：（SAA9060, TDA4680）YUV -> RGB·多路混合：(74HCT 4053) 與VGA的RGB信號(hào)混合顯示。,三. PC機(jī)控制：,1．AT總線接口：（74LS682 74LS254） 與視窗控制 模塊相連。功能：PC對(duì)VRAM圖像數(shù)據(jù)讀取PC發(fā)布顯示控制命令--顯示方式、狀態(tài)寄存器設(shè)置。2．VGA聯(lián)結(jié)：·同步時(shí)鐘信號(hào)。·彩色鍵聯(lián)：彩色匹配，分辨

10、率配合。四． 意義： 數(shù)字化電視的基礎(chǔ),,特點(diǎn)：本身帶有CPU，能高速處理多媒體。與主機(jī)（Hoster 計(jì)算機(jī)）有松散的關(guān)系。,2專用多媒體系統(tǒng),2.1CD-I交互式多媒體系統(tǒng)Philips/Sony 86年聯(lián)合推出，為以光盤為中心的家用多媒體播放系統(tǒng)。,一．基本結(jié)構(gòu)：主存ROM（RTOS實(shí)時(shí)操作系統(tǒng)，字庫）主機(jī) 68000（CPU）總線 CD-I Bus視頻，音頻處理子系統(tǒng),二. 音頻處理子系統(tǒng)

11、：,1．?dāng)?shù)據(jù)（來自光盤）PCM，ADPCM級(jí)別 編碼 采樣率（Hz）分辨率 聲道 時(shí)間（時(shí)）超級(jí)HiFi PCM 44.1K 16 2 1激光唱盤 ADPCM-A 37.8K 8

12、 2 2 FM廣播級(jí) ADPCM-B 37.8K 4 4 4AM ADPCM-C 18.9K 4 8 8,2．結(jié)構(gòu)：,音頻處理：混合左右聲道， D/A轉(zhuǎn)換。特技

13、處理：音量控制， 混合特殊效果。,三．視頻處理子系統(tǒng)：,1．?dāng)?shù)據(jù)： ·DYUV（8：4：4）-> YUV（8*8*8）真彩色 224 ·RGB5*5*5高質(zhì)量圖形215 ·CLUT8，7，4偽彩色28,27,24 ·RL（行程碼） 7，3簡單圖形27,232．顯示方式：四圖像疊加 Fi

14、g.5-2-3圖像0： 光標(biāo)（16*16）優(yōu)先顯示圖像1，2： 主圖像（A，B）圖像3： 背景,3. 結(jié)構(gòu)：,3. 結(jié)構(gòu)：,存儲(chǔ)體與存儲(chǔ)控制：存放圖像A，B，控制器控制CD-I總線數(shù)據(jù)輸入。·實(shí)時(shí)解碼： ·圖像重疊：顏色切換--顯示主查色表 重疊控制--產(chǎn)生透明區(qū)·

15、像素保存：顯示緩沖器，放大，開窗，馬賽克，特效處理。·混合：A，B圖像 + 游標(biāo) + 背景·圖像影響：亮度變化（淡入淡出。。。）,四. CD-I操作特點(diǎn),1．操作系統(tǒng)：CD-RTOS在CPU M68000中運(yùn)行的操作系統(tǒng)，協(xié)調(diào)各個(gè)模塊的工作。2．應(yīng)用程序和數(shù)據(jù)預(yù)先編好，從CD-ROM光盤中裝入RAM中運(yùn)行。3．用戶通過定位（鍵盤，操縱桿）控制程序的運(yùn)行。4．無用戶開發(fā)環(huán)境,2.2 . DV

16、I 系統(tǒng),Intel 公司開發(fā)Action Media 750型芯片主要部件：象素處理器 + 顯示處理器 I 型： 82750PA 82750DA II 型：82750PB 82750DB 特點(diǎn)：微程序驅(qū)動(dòng)，稱為視頻音頻引擎(AVE),一。系統(tǒng)結(jié)構(gòu),,一，系統(tǒng)結(jié)構(gòu),1. 總線結(jié)構(gòu) 2 .主系統(tǒng)： “主機(jī)” 82750PB + 主存VRAM(16M) +

17、 顯示82750DB 3. 音頻、視頻的輸入輸出 4．宿主機(jī)數(shù)據(jù)交換接口二．DVI 總線 1． 32位數(shù)據(jù)地址總線 2。仲裁原則：主系統(tǒng)總線優(yōu)先,三。象素處理器（PB）．,1。 功能： 視頻圖象壓縮解碼2．結(jié)構(gòu)特點(diǎn)： 。微程序驅(qū)動(dòng) （25MPS） 。ALU + 桶形移位寄存器 （數(shù)據(jù)流處理） 。4 FIFO I/O 接口寄存器 。象素插入器，

18、 統(tǒng)計(jì)譯碼器 （圖象處理）,．四。顯示處理器. DB,,1. 支持多制式視頻: PAL、 NTSC、 VGA 2. 顯示 VRAM: YUV、RGB(加上CLUT)、DYUV圖象 3. 象素插入：不同圖象之間的變換、同步。 4．同步信號(hào)： 與VGA 鍵聯(lián)（大小時(shí)序）五。音頻處理接口 1．Keying 2．音頻： 獲取、放大/濾波、DSP處理器、ADPCM碼 六。視頻接口

19、 1．Capture 捕獲圖象源： NTSC、 PAL、 VGA、 RGB 、 YUV 2。SCSI 接口： CD-ROM ， 掃描機(jī),．七。宿主機(jī)接口,。DC/DS 總線接口。用于DVI總線仲裁結(jié)論：?？偩€+模塊式計(jì)算機(jī)結(jié)構(gòu)。微碼控制、可編程。未用于音頻、視頻實(shí)時(shí)處理,5 .2.3多媒體工作站,一。 圖形工作站特點(diǎn) 1．高速CPU2. 采用圖形處理器：實(shí)時(shí)工作、動(dòng)態(tài)生成3. 高速內(nèi)

20、部總線二．多媒體的擴(kuò)充1．音頻處理塊 DSP芯片、A/D（48KHZ采樣率）CD 、MIC輸入、音箱耳機(jī)2．視頻塊、（Video 板）： 。視頻總線獨(dú)立播放 。與圖形合成 。捕捉圖象三．一體化結(jié)構(gòu)。所有硬件內(nèi)置成一體，用戶不能增、減。所有軟件內(nèi)置于UNIX中，與UNIX 用戶接口一致,3 多媒體平臺(tái)的操作系統(tǒng),3．1. 多媒體操作系統(tǒng)一般問題一。多媒體的特點(diǎn) 1．連續(xù)性、時(shí)間上

21、不得間斷 2．不同媒體的同步 3。實(shí)時(shí)性 4。媒體的數(shù)據(jù)存儲(chǔ)與表達(dá)方式--------文件管理 二．結(jié)構(gòu)特點(diǎn)1．多媒體設(shè)備的驅(qū)動(dòng)器2．文件管理——統(tǒng)一的多媒體、抽象化模型（邏輯名、操作）3. 實(shí)時(shí)多任務(wù)調(diào)度4。用戶接口：工具、功能庫、語言,,3.2 . CD-I系統(tǒng)的CD-RTOS,一。 結(jié)構(gòu)1．設(shè)備驅(qū)動(dòng)模塊2．文件管理： CD、用戶、非易失RAM文件3．RTOS4. 用戶接口,二．RTOS工作

22、原理．,1。實(shí)時(shí)文件。格式?；久襟w單元 。文件頭部（RTCA）實(shí)時(shí)命令、播放控制信息2．實(shí)時(shí)解釋器。PCL ：演示控制表，存放RTCA 頭部信息。PCB ：演示控制塊： 根據(jù)控制表的命令和文件中的媒體單元向演示裝置輸出媒體數(shù)據(jù),3。RTOS工作特點(diǎn)。,數(shù)據(jù)操作按同步關(guān)系封裝于同一文件中——數(shù)據(jù)流按解釋方式進(jìn)行操作：靈活不變應(yīng)萬變。所以RTOS 封裝于ROM中,3.3. DVI的AV

23、SS/RTX操作系統(tǒng),結(jié)構(gòu)圖： Fig 5-3-4,,一。結(jié)構(gòu)圖： Fig 5-3-41．驅(qū)動(dòng)器： PB、 DB 、AVD 、DPS （用戶）多功能裝置2．用戶接口：生產(chǎn)工具、命令式編程著作語言、流程圖式、故事板式交互編程二．圖形處理器GR．功能： 。對(duì)VRAM中的位圖進(jìn)行圖象、圖形、文本操作處理 。填色、勾邊、字體、疊加、透明與覆蓋 。操作函數(shù) GrCopyRect

24、( )矩形景象的變換復(fù)制 GrWarp( ) 交叉變換、橡皮膜拉伸效應(yīng) GrScaleRect ( ) 矩形變換,三．AVSS/RTV 動(dòng)態(tài)圖象的播放,．AVSS文件格式 。數(shù)據(jù)流文件．RTX 多任務(wù)實(shí)時(shí)控制 播放過程 Fig5-3-7,,3。4。QuickTime 的Movie 操作系統(tǒng),一。Movie文件管理系統(tǒng)1 ．Movie 文件系統(tǒng)：。Trace 通道區(qū)：播放

25、一段媒體。movie 畫面區(qū)：多個(gè)Trace組成，。Media 媒體數(shù)據(jù)源2．軌道Track :。程序部分：根據(jù)數(shù)據(jù)完成特定時(shí)間、任務(wù)播放一段媒體。數(shù)據(jù)部分： 。時(shí)間尺度、時(shí)間坐標(biāo)軸 。段的開始、持續(xù)時(shí)間、播放速度 。顯示的屏幕位置或聲音的通道號(hào) 。指針：指向一段媒體的物理源（Media 區(qū)）地址的指針,二．同步機(jī)制．,1 .Movie 的Track序列：可定義每一個(gè)Track 的數(shù)據(jù)

26、部分，確定了播放的時(shí)序２．動(dòng)態(tài)畫面管理器　 Movie Manager 同步控制每個(gè)Track 的工作：把數(shù)據(jù)解壓縮、顯示 把聲音數(shù)據(jù)同步輸入發(fā)聲器,三．?dāng)?shù)據(jù)的壓縮速度和設(shè)備驅(qū)動(dòng),１．圖象壓縮器。圖片壓縮。視頻壓縮。動(dòng)畫壓縮2．部件管理器。多媒體設(shè)備接口：自動(dòng)選擇提供最好 的驅(qū)動(dòng)設(shè)備 和最好的服務(wù) 四．用戶接口：　 . Movie Toolbox。Movie 文件的編輯。對(duì)話箱OpenFile