支持多層表示的海量視頻快速檢索及反饋學(xué)習(xí).pdf

1、隨著網(wǎng)絡(luò)視頻應(yīng)用的普及和發(fā)展,海量視頻檢索需求強(qiáng)烈,其中的核心技術(shù)是海量高維向量的快速檢索。如何快速的發(fā)現(xiàn),檢索并結(jié)合用戶相關(guān)反饋信息處理海量視頻數(shù)據(jù)成為行業(yè)和領(lǐng)域中亟待研究和解決的問題。
　　 本文針對(duì)視頻信息內(nèi)容的數(shù)據(jù)特點(diǎn)和實(shí)際應(yīng)用中海量,高維,語義,快速的需求,研究了基于哈希的近似最近鄰搜索,相關(guān)反饋學(xué)習(xí),多媒體內(nèi)容的多層表示,海量數(shù)據(jù)的分布式檢索,視頻拷貝檢測問題,視頻檢索中的反饋學(xué)習(xí)等方面國內(nèi)外科研的最新成果,分析了目

2、前多層高維向量快速檢索的關(guān)鍵問題與發(fā)展方向。本文主要的研究工作和創(chuàng)新點(diǎn)包括如下幾個(gè)方面:
　　 1.提出了局部敏感哈希與對(duì)等網(wǎng)絡(luò)結(jié)合的分布式海量高維向量檢索方法。針對(duì)海量高維數(shù)據(jù)的快速檢索問題,首先研究了近似最近鄰搜索的局部敏感哈希算法索引數(shù)據(jù)分布特點(diǎn)以及基于分布式哈希表的對(duì)等網(wǎng)絡(luò)協(xié)議,然后提出一種非均勻的Hilbert曲線算法,將索引數(shù)據(jù)從哈希桶標(biāo)簽空間映射到對(duì)等網(wǎng)絡(luò)的節(jié)點(diǎn)命名空間。進(jìn)一步提出一種有效的分布式海量高維數(shù)據(jù)快速檢

3、索計(jì)算框架,用來完成索引數(shù)據(jù)的和計(jì)算負(fù)載的分布式處理。實(shí)驗(yàn)結(jié)果表明在5000節(jié)點(diǎn)的網(wǎng)絡(luò)規(guī)模,本文算法相比SHA-1算法減少了約40％處理路由跳數(shù)和約30％的參與節(jié)點(diǎn)數(shù)。
　　 2.研究了采用虛擬節(jié)點(diǎn)算法對(duì)分布式海量高維向量檢索負(fù)載均衡的優(yōu)化。針對(duì)海量高維數(shù)據(jù)分布式檢索的負(fù)載均衡問題,研究了對(duì)等網(wǎng)絡(luò)的動(dòng)態(tài)負(fù)載均衡算法和索引結(jié)構(gòu)的數(shù)據(jù)分布特點(diǎn),設(shè)計(jì)了一種基于虛擬節(jié)點(diǎn)的動(dòng)態(tài)調(diào)度算法。在物理節(jié)點(diǎn)與索引數(shù)據(jù)之間引入虛擬節(jié)點(diǎn)層,將數(shù)據(jù)關(guān)鍵字

4、空間從映射到物理節(jié)點(diǎn)命名空間優(yōu)化為映射到虛擬節(jié)點(diǎn)命名空間,并提出了兩層網(wǎng)絡(luò)結(jié)構(gòu)中負(fù)載動(dòng)態(tài)遷移調(diào)度的算法。通過在對(duì)等協(xié)議中附加負(fù)載信息數(shù)據(jù)結(jié)構(gòu)和負(fù)載探測與遷移方法,保證分布式檢索效率的同時(shí)優(yōu)化了系統(tǒng)的負(fù)載均衡,在仿真平臺(tái)OverSim的實(shí)驗(yàn)結(jié)果表明算法在付出13％額外網(wǎng)絡(luò)通訊負(fù)載的同時(shí)負(fù)載均衡效果改善50％以上。
　　 3.提出了基于多層表示的重復(fù)視頻檢測算法。重復(fù)視頻檢測是多媒體應(yīng)用的一個(gè)熱點(diǎn)問題,本文研究了視頻的多層表示,即通

5、過鏡頭分割,關(guān)鍵幀提取,局部特征向量提取將視頻內(nèi)容的檢索轉(zhuǎn)化為海量高維向量檢索問題。提出了基于多層表示的重復(fù)視頻檢測計(jì)算框架,設(shè)計(jì)了一種自適應(yīng)局部敏感哈希算法,通過樣本學(xué)習(xí)參數(shù),預(yù)估哈希表中桶內(nèi)數(shù)據(jù)的總數(shù),突破了桶內(nèi)距離計(jì)算的性能瓶頸,并提出了特征過濾和基于投票機(jī)制的兩層匹配算法。在標(biāo)準(zhǔn)數(shù)據(jù)集MUSCLE-VCD上的實(shí)驗(yàn)表明本文的快速檢測算法相比國內(nèi)外最新算法,消耗3％存儲(chǔ)負(fù)載的同時(shí)獲得了3.6-5.1倍的速度提升。
　　 4.

6、提出了視頻檢索中基于典型關(guān)聯(lián)分析的反饋學(xué)習(xí)算法。
　　 基于內(nèi)容的視頻檢索問題不同于重復(fù)視頻檢測問題,需要更多的語義信息來判定相似的概念,本文研究了目前相似視頻檢索的主要算法,指出了基于二進(jìn)制編碼和度量學(xué)習(xí)的算法無法增量式更新索引,依賴學(xué)習(xí)樣本,檢索過程維護(hù)代價(jià)高的問題。在視頻內(nèi)容多層表示基礎(chǔ)上,提出了基于典型關(guān)聯(lián)分析的反饋學(xué)習(xí)算法,利用用戶的相關(guān)反饋,將視頻級(jí)別的樣本信息回溯到特征向量級(jí)別,通過典型關(guān)聯(lián)分析學(xué)習(xí)集合于集合之間的