推特?cái)?shù)據(jù)信息的查詢擴(kuò)展方法研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，在全球各地每時(shí)每刻都在產(chǎn)生大量的推特?cái)?shù)據(jù)信息。如何在這大量數(shù)據(jù)中去篩選滿足用戶需求的信息變得尤為重要，查詢擴(kuò)展方法在推文檢索中廣泛應(yīng)用，可以有效的解決這一問題。
　　查詢擴(kuò)展主要包含兩個(gè)部分：一是篩選與原始查詢詞相關(guān)的推文作為語料庫；二是篩選語料庫中與原始查詢最相關(guān)的詞語作為待擴(kuò)展詞。傳統(tǒng)查詢擴(kuò)展方法主要使用BM25算法，VSM算法以及TF-IDF算法等對原始查詢和推文進(jìn)行相關(guān)性比較，篩選出滿足用戶需求的推文

2、作為語料庫。這種方法存在兩個(gè)不足：一是含有較少查詢詞的推文被漏選，二是含有較多查詢詞的不相關(guān)推文被錯(cuò)誤的篩選。針對此問題本文在以下幾個(gè)方面進(jìn)行研究和創(chuàng)新：
　　(1)提出基于推文聚類的查詢擴(kuò)展方法，并對其進(jìn)行設(shè)計(jì)和完成。該方法對篩選推文作為語料庫這一過程進(jìn)行改進(jìn)，并將傳統(tǒng)的逐條推文與原始查詢詞進(jìn)行相關(guān)性比較的推文篩選方法進(jìn)行優(yōu)化。該方法先對推文進(jìn)行聚類，根據(jù)與原始查詢詞的相關(guān)性對聚好類的推文進(jìn)行篩選，得到的推文集合包含了相同語義的

3、所有推文。再比較推文類與原始查詢的相關(guān)性，篩選出最滿足用戶需求的推文類。這一方法很好的解決了含有較少查詢詞的相關(guān)推文被漏選的問題。
　　該方法對比BM25算法對兩種不同的查詢擴(kuò)展方法在平均準(zhǔn)確率(mAP)上分別提升了11.4％和12.0%，比VSM算法分別提升了14.9%和15.3%，比TF-IDF算法分別提升了15.8%和13.7%。
　　(2)提出基于主題劃分的查詢擴(kuò)展方法。通過對不相關(guān)推文中含有較多查詢詞而被篩選這一主

4、題偏移問題進(jìn)行改進(jìn)，使得含有查詢詞的不相關(guān)推文被有效的過濾。該方法將推文進(jìn)行主題劃分，篩選出滿足用戶查詢的主題下的推文集合作為語料庫，有效的去除了含有查詢詞但并不屬于該主題的推文。
　　該方法對比BM25算法對兩種不同的查詢擴(kuò)展方法在平均準(zhǔn)確率(mAP)上分別提升了13.2%和13.9%，比VSM算法分別提升了16.7%和17.3%，比TF-IDF算法分別提升了17.7%和15.6%。
　　(3)經(jīng)過分別對主題劃分方法和推文