基于列表級(jí)的相關(guān)文本排序?qū)W習(xí)算法研究.pdf

1、為了提高用戶檢索的精度，將更加相關(guān)有效的頁(yè)面返回給查詢用戶，如何提高搜索引擎排序的質(zhì)量就顯得至關(guān)重要?？紤]對(duì)檢索模型有影響的因素時(shí)，我們考慮到網(wǎng)頁(yè)的重要度和相關(guān)度是兩個(gè)重要的特征；但是只有重要度和相關(guān)度也不夠，還要考慮其他的一些因素，比如網(wǎng)頁(yè)之間相似性。隨著搜索技術(shù)的發(fā)展和對(duì)搜索進(jìn)行的研究，我們發(fā)現(xiàn)有太多的因素會(huì)影響到排序，把這些因素視作特征用一些方法綜合考慮得出一個(gè)最合理的排序，這就是當(dāng)今搜索引擎排序研究領(lǐng)域中引入機(jī)器學(xué)習(xí)的方法所要解

2、決的問(wèn)題，也即排序?qū)W習(xí)所要研究解決的問(wèn)題。
　　由于本課題是在網(wǎng)頁(yè)上進(jìn)行的排序研究，而網(wǎng)頁(yè)是經(jīng)過(guò)特殊格式化了的文本，所以我們的研究主要集中在對(duì)文本排序的研究之上。
　　本課題介紹了現(xiàn)有的八種文本特征提取方法，提出了帶有位置信息的TFIDF，并且結(jié)合全局信息熵，這樣一個(gè)新的特征提取方法(WTE)。我們提出的特征提取方法由于結(jié)合了位置權(quán)重和信息熵，使得提取的特征詞能夠更好的代表一篇文本，又能最大限度的與其他文本相區(qū)分。重要的是，

3、這個(gè)方法能最佳的表示詞在文章中的重要度和相關(guān)性。同時(shí)，我們提出一種適用于列表級(jí)排序?qū)W習(xí)方法上的基準(zhǔn)排序序列的構(gòu)建方法，彌補(bǔ)了在列表級(jí)排序?qū)W習(xí)方法的研究上，基準(zhǔn)序列不足的缺陷。
　　本課題在建立排序模型的時(shí)候提出了結(jié)合文本內(nèi)容與查詢的相關(guān)性和文本之間的相似性關(guān)系應(yīng)用在列表級(jí)排序?qū)W習(xí)模型上的排序方法。大多數(shù)的排序?qū)W習(xí)方法在建立排序模型的時(shí)候都只考慮了文本內(nèi)容與查詢的相關(guān)性，而忽略了文本之間的相似性關(guān)系對(duì)排序可能給予的貢獻(xiàn)。為了解決這個(gè)

4、問(wèn)題，本課題將文本之間的相似性關(guān)系表示成了一個(gè)相似性圖（AA），結(jié)合AA表示的文本之間的潛在關(guān)系以及文本本身內(nèi)容與查詢的關(guān)系構(gòu)建排序模型，引入監(jiān)督學(xué)習(xí)的方法優(yōu)化排序模型。對(duì)于文本的相關(guān)度函數(shù)的構(gòu)建不僅僅依賴于文本本身內(nèi)容而且也依賴于文本之間的相似性關(guān)系，這是本文的研究重點(diǎn)。
　　本課題在學(xué)習(xí)模型的構(gòu)建上利用交叉熵和似然估計(jì)作為替代損失函數(shù)，利用增量型線性神經(jīng)網(wǎng)絡(luò)和梯度下降算法來(lái)最小化本文定義的損失函數(shù)。本課題實(shí)現(xiàn)并分析了在上述兩種