排序?qū)W習中基于直接優(yōu)化信息檢索評價準則算法的理論分析.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，互聯(lián)網(wǎng)上的信息量也以驚人的速度不斷地膨脹，從海量的互聯(lián)網(wǎng)信息中準確快捷的獲取所需信息也變得日益困難。搜索引擎的出現(xiàn)正是為了使人們能夠從海量的互聯(lián)網(wǎng)信息中快速和便捷地獲取所需信息。搜索引擎背后的關(guān)鍵技術(shù)是網(wǎng)頁排序算法。如何設(shè)計一個有效的網(wǎng)頁排序算法是信息檢索領(lǐng)域中十分重要和流行的課題。近年來，將機器學習方法引入排序?qū)W習獲得了很大成功，吸引了越來越多研究人員的注意。
　　 在排序?qū)W習領(lǐng)域中，直接優(yōu)化信息檢索

2、評價準則算法已經(jīng)成為一個重要分支。由于信息檢索評價準則（例如MAP和NDCG）的不連續(xù)和不可導性導致其難以優(yōu)化。直接優(yōu)化信息檢索評價準則算法的核心思想是通過優(yōu)化一個與信息檢索評價準則近似的替代函數(shù)達到優(yōu)化信息檢索評價準則的目的。我們稱此替代函數(shù)為替代評價準則。
　　 直接優(yōu)化信息檢索評價準則算法的一個關(guān)鍵性基礎(chǔ)問題是一對替代評價準則的優(yōu)化是否能保證對相應(yīng)的信息檢索評價準則的優(yōu)化？這個問題的解答，將直接決定直接優(yōu)化信息檢索評價準則

3、算法的理論正確性。因為，如果對替代評價準則的優(yōu)化不能保證對相應(yīng)的信息檢索評價準則的優(yōu)化，那么直接優(yōu)化信息檢索評價準則算法將無法從理論上保證能夠獲得一個性能良好的排序模型。然而目前并無任何工作對這個問題有深入的理論研究，故而研究人員對直接優(yōu)化信息檢索評價準則的理論性質(zhì)并不了解。
　　 本論文以直接優(yōu)化信息檢索評價準則算法的一個關(guān)鍵性基礎(chǔ)問題（對替代評價準則的優(yōu)化是否能保證對相應(yīng)的信息檢索評價準則的優(yōu)化）為主線，以探索直接優(yōu)化信息檢

4、索評價準則算法的理論性質(zhì)為目標，創(chuàng)新性的提出了直接性和趨勢相關(guān)性兩個概念，用于以衡量替代評價準則與相應(yīng)的信息檢索評價準則之間的關(guān)系。并以直接性和趨勢相關(guān)性為分析工具，獲得了主流的直接優(yōu)化信息檢索評價準則算法中替代評價準則的理論性質(zhì)。最后通過在公共基準數(shù)據(jù)集LETOR上對各個直接優(yōu)化信息檢索評價準則算法的實驗驗證了本文所得的理論分析結(jié)果，說明了用直接性和趨勢相關(guān)性來衡量替代評價準則與相應(yīng)的信息檢索評價準則之間關(guān)系的科學性和正確性。

5、　　 ·本論文首先提出直接性和趨勢相關(guān)性兩個概念以衡量替代評價準則與相應(yīng)的信息檢索評價準則的關(guān)系。我們從理論上證明了，如果一個替代評價準則，相對于一個信息檢索評價準則而言，具有任意大的直接性，或者任意強的趨勢相關(guān)性，則對此替代評價準則的優(yōu)化能保證對相應(yīng)的信息檢索評價準則的優(yōu)化。
　　 ·在理論研究結(jié)論的基礎(chǔ)上，我們分析了主流的直接優(yōu)化信息檢索評價準則算法的直接性和趨勢相關(guān)性。通過理論分析，證明了SoftRankNDCG，App

6、roxRankMAP，ApproxRankNDCG中所優(yōu)化的替代評價準則，在合適的參數(shù)設(shè)置下（例如，令SoftRankNDGG中參數(shù)σs→以及ApproxRankMAP和ApproxRankNDCG中參數(shù)α→∞），對任意數(shù)據(jù)分布都能具有任意大的直接性和任意強的趨勢相關(guān)性。證明了SVMMAP，DORMNDCG，PermuRankMAP，SVMNDCG所優(yōu)化的替代評價準則在某類數(shù)據(jù)分布上不能具有任意大的直接性和任意強的趨勢相關(guān)性。因此，我們

7、得到了SoftRankNDCG，ApproxRankMAP，ApproxRankNDCG相比于SVMMAP， DORMNDCG，PermuRankMAP，SVMNDCG具備更好的理論性質(zhì)，因而能獲得更好的排序性能的結(jié)論。
　　 ·最后通過在公共基準數(shù)據(jù)集LETOR上的實驗研究，我們驗證了對主流直接優(yōu)化信息檢索評價準則算法所優(yōu)化的替代評價準則的直接性和趨勢相關(guān)性的理論研究結(jié)果，說明了用直接性和趨勢相關(guān)性衡量替代評價準則與相應(yīng)的信息