相似字符串查找算法研究.pdf

1、IIIIIIIIIIIIIIIIIqlllllllllllllllUlllllllllllllY3215537嚳縋狄謦確十學(xué)Fiij舍‘、≯‘～oJt’’相似字符串查找算法研究ResearchorltheaIgorithmsforstringSimiIaritysearch學(xué)號(hào)姓名學(xué)位類別學(xué)科專業(yè)(工程領(lǐng)域)指導(dǎo)教師完成時(shí)間答辯委員會(huì)主席簽名密級(jí)保密期限黃厚柱工學(xué)碩士計(jì)算機(jī)應(yīng)用技術(shù)劉慧婷副教授2017年3月壑壘14／摘要相似字符串查找在

2、現(xiàn)實(shí)生活中的應(yīng)用非常廣泛，例如相似網(wǎng)頁(yè)檢測(cè)、數(shù)據(jù)清洗、電商網(wǎng)站的推薦功能、蛋白質(zhì)功能預(yù)測(cè)等。相似字符串查找多是用一個(gè)給定的相似性函數(shù)來(lái)判斷兩個(gè)字符串是否相似。相似性函數(shù)有多種，例如漢明距離、編輯距離、余弦度量以及杰卡德度量等，其中使用較為廣泛的為編輯距離。目前，基于相似性函數(shù)的相似字符串查找的研究可分為三類，即基于閾值的相似字符串查找、topk相似字符串查找和相似字符串連接。然而隨著用戶需求的不斷變化，基于相似性函數(shù)的相似字符串查找已不

3、能很好地滿足用戶需求，于是帶通配符的字符串查找逐漸被研究者們重視起來(lái)。本文主要研究了三種類型的相似字符串查找問題，即基于閾值的相似字符串查找、topk相似字符串查找及帶通配符的字符串查找。在基于閾值的相似字符串查找問題方面，目前處理該類問題的算法多是基于過(guò)濾一一驗(yàn)證框架的。本文基于該框架提出了PBsearch算法，并且分別在過(guò)濾和驗(yàn)證階段對(duì)該算法進(jìn)行了優(yōu)化。在過(guò)濾階段使用了長(zhǎng)度過(guò)濾、數(shù)量過(guò)濾和位置過(guò)濾，并且首次加入OneOff條件過(guò)濾掉

4、大量的無(wú)效匹配；在驗(yàn)證階段提出了一種新的驗(yàn)證算法——MultiThreshold算法，有效地減少了計(jì)算編輯距離的次數(shù)。在topk相似字符串查找問題方面，提出了兩種基于分割思想的算法一一Pbtopk算法和PbCounttopk算法。其中，Pbtopk算法采用差值遞增的策略，減少了需要處理的字符串?dāng)?shù)目；PbCounttopk算法采用匹配數(shù)目劃分的策略，進(jìn)一步縮小了候選集的規(guī)模。在帶通配符的字符串查找問題方面，研究了帶“”和“糊’兩種通配符的

5、字符串查找問題。雖然Patriciatrie索引結(jié)構(gòu)具有高效的前綴共享性，然而在查詢效率上仍有待提高。本文提出了基于Patriciatrie結(jié)構(gòu)的改進(jìn)結(jié)構(gòu)——wtrie結(jié)構(gòu)，提高了Patriciatrie結(jié)構(gòu)的查詢效率。該結(jié)構(gòu)在內(nèi)節(jié)點(diǎn)處多了一個(gè)通配符分支，給定一個(gè)通配符約束k，Wtrie每一個(gè)內(nèi)節(jié)點(diǎn)消耗一個(gè)通配符，直到從根節(jié)點(diǎn)到當(dāng)前節(jié)點(diǎn)的分支上已經(jīng)滿足通配符約束k。最后基于該結(jié)構(gòu)提出了帶通配符的字符串查找算法，并在查找過(guò)程中加入長(zhǎng)度過(guò)濾