信息檢索系統(tǒng)的評價方法-北京大學網(wǎng)絡與信息系統(tǒng)研究所

1、基于用戶群體行為分析的搜索引擎自動性能評價,清華大學智能技術(shù)與系統(tǒng)國家重點實驗室馬少平2008年4月12日，南昌,提綱,研究背景信息檢索系統(tǒng)的評價方法基于用戶行為分析的搜索引擎性能評價演示系統(tǒng)：搜索儀結(jié)論與未來工作,研究背景,Web的發(fā)展帶來了什么？信息量的急劇增長1994年，面向個人用戶的瀏覽服務誕生2002年，Web上所存儲的數(shù)據(jù)超過500,000 TB知識的獲取空前簡單與繁榮“在信息化時代，知識實際上已經(jīng)不

2、是資源，智慧才是資源?！睆腤eb中有效的獲取知識成為人們的必需技能高科技企業(yè)員工1/3的時間用于查找資料,研究背景,網(wǎng)絡信息檢索工具成為人們生活和工作中的重要信息獲取手段全球范圍內(nèi)84%的互聯(lián)網(wǎng)用戶使用搜索引擎，其中超過一半的人幾乎每天使用。 2007年1月，我國網(wǎng)民總?cè)藬?shù)為13700萬人。95%以上的中國網(wǎng)民使用過搜索引擎，84.5%的用戶將搜索引擎作為得知新網(wǎng)站的主要途徑。商用搜索引擎競爭日趨激烈。,研究背景,性能評價對

3、搜索引擎的重要作用對搜索引擎用戶而言：挑選最有利于獲取信息的手段對搜索引擎工程師而言：算法及數(shù)據(jù)處理方式有效性的判斷對搜索引擎廣告商而言：挑選最有效的廣告投放手段,研究背景,搜索引擎評價的考察方式搜索引擎作為網(wǎng)絡服務供應商的屬性形式：用戶問卷調(diào)查舉例：CNNIC中國搜索引擎市場調(diào)查報告搜索引擎作為網(wǎng)絡信息檢索工具的屬性形式：傳統(tǒng)的信息檢索評價方法在網(wǎng)絡環(huán)境中的應用。舉例：TREC VLC/Web/Terabyte

4、 track，SEWM評測等,,作為信息檢索研究人員，我們的考察重點,提綱,研究背景信息檢索系統(tǒng)的評價方法基于用戶行為分析的搜索引擎性能評價演示系統(tǒng)：搜索儀結(jié)論與未來工作,信息檢索系統(tǒng)的評價方法,評價在信息檢索研究中發(fā)揮著重要的作用評價在信息檢索系統(tǒng)的研發(fā)中一直處于核心的地位，以致于算法與其效果評價方式是合二為一的（Saracevic, SIGIR 1995）信息檢索系統(tǒng)評價的起源Kent等人第一次提出了關(guān)于Precisi

5、on和Recall（開始稱為relevance）的概念（Kent, 1955）,信息檢索系統(tǒng)的評價方法,信息檢索系統(tǒng)評價的起源（續(xù)）Cranfield-like evaluation methodologyCranfield在上世紀伍十年代末到六十年代初提出了基于查詢樣例集、標準答案集和語料庫的評測方案，被稱為IR評價的“grand-daddy”確立了評價在信息檢索研究中的核心地位Gerard Salton 與 SMART 系統(tǒng)

6、Sparck-Jones 的著作 “Information retrieval experiment”在線：http://www.itl.nist.gov/iaui/894.02/projects/irlib/,信息檢索系統(tǒng)的評價方法,網(wǎng)絡信息檢索系統(tǒng)效果評價的現(xiàn)狀數(shù)據(jù)對象繁雜，標注困難Voorhees 估計，對一個規(guī)模為800萬的文檔集合進行針對1個查詢主題的相關(guān)性評判需要耗費1名標注人員9個月的工作時間TREC提出pool

7、ing方法，在保證評價結(jié)果可靠性的基礎上大大減少了評判工作量缺點：處理的查詢數(shù)目少，針對小規(guī)模的查詢集合，仍需要耗費十余名標注人員1-2個月的工作時間提高搜索引擎評價方法的自動化程度勢在必行,信息檢索系統(tǒng)的評價方法,如何提高搜索引擎評價的自動化程度？,查詢樣例選取,標準答案標注,查詢樣例集合,標準答案集合,檢索系統(tǒng)查詢結(jié)果,,,信息檢索系統(tǒng)的評價方法,核心問題: 如何提高答案標注的自動化程度利用偽相關(guān)反饋的方法進行結(jié)果自動標

8、注偽相關(guān)反饋的結(jié)果被認為是答案Soboroff et.al, 2001; Nuray et.al, 2003; Beitzel et.al., 2003標注的準確程度和可靠性不高對查詢詞的近義詞集合進行標注根據(jù)結(jié)果網(wǎng)頁的查詢詞及近義詞詞頻進行評判Amitay et.al, 2004初始標注工作量大，評判的可靠性不高,信息檢索系統(tǒng)的評價方法,核心問題: 如何提高答案標注的自動化程度利用用戶行為分析方法Joachims e

9、t.al.(1997) 創(chuàng)建了一個元搜索接口，將不同搜索引擎的結(jié)果加以混雜，把用戶點擊不同結(jié)果的情況加以記錄，并以此作為評判依據(jù)用戶行為分析的思路值得肯定缺點：改變用戶檢索習慣、個體用戶行為不可靠等我們的研究思路通過對搜索引擎記錄下的用戶行為日志進行分析，不額外增加用戶負擔。使用用戶群體，而不是個體的點擊行為作為依據(jù),提綱,研究背景信息檢索系統(tǒng)的評價方法基于用戶行為分析的搜索引擎性能評價演示系統(tǒng)：搜索儀結(jié)論與未來工作,

10、基于用戶行為分析的性能評價,總體思路基于Cranfield方式進行評價豐富的研究經(jīng)驗：評價指標、查詢樣例選取策略等便于與傳統(tǒng)的手工標注評價方式進行比較基于用戶關(guān)注程度進行查詢樣例選取基于用戶行為信息進行答案自動標注個體用戶可能在點擊過程中出現(xiàn)謬誤用戶群體的點擊信息則是很大程度上可靠的統(tǒng)計用戶群體的點擊行為，進而對查詢對應的結(jié)果進行標注,搜索引擎效果自動評價,基于用戶關(guān)注程度進行查詢樣例自動挑選頻度高于100的查詢：35

11、177個(<查詢個數(shù)1%)覆蓋了近70%的用戶查詢需求 選取熱門關(guān)鍵詞(big fat head)作為代表性樣例,余慧佳等，基于大規(guī)模日志分析的搜索引擎用戶行為分析，中文信息學報，2007年第2期數(shù)據(jù)來源：Sogou搜索引擎2006年2月查詢?nèi)罩?搜索引擎效果自動評價,基于用戶行為信息進行答案自動標注根據(jù)用戶信息需求不同有所差別導航類信息需求對應的答案標注檢索目標頁面單一H(URL|Query)較低，檢索系統(tǒng)的處理難

12、度較低，答案標注難度較低信息事務類信息需求對應的答案標注多個檢索目標頁面H(URL|Query)較高，檢索系統(tǒng)的處理難度較高，答案標注難度較高,搜索引擎效果自動評價,導航類查詢的答案標注結(jié)果唯一，不存在“找不全”的問題搜索引擎檢索性能高，點擊準確度較可靠能夠發(fā)現(xiàn)用戶的關(guān)注熱點，如“163” => mail.163.com“搜狗” => d.sogou.com答案標注的難度較低,搜索引擎效果自動評價,信息

13、事務類查詢的答案標注以查詢詞”電影”為例不同搜索引擎的點擊分布差異大存在著搜索引擎對用戶行為的偏置性影響索引數(shù)據(jù)偏置檢索策略偏置結(jié)果不唯一，全面性難以保證答案標注難度較大需要借助多個搜索引擎的用戶行為信息進行標注,搜索引擎效果自動評價,自動評價流程,搜索引擎效果自動評價,按信息需求將查詢樣例自動分類,Yiqun Liu et al, Automatic Query Type Identification Based on

14、 Click Through Information Proceedings of the 3th Asia Information Retrieval Symposium, AIRS 2006,搜索引擎效果自動評價,針對導航類查詢的結(jié)果自動標注利用單個搜索引擎的點擊信息即可完成焦點假設：不同用戶具有相同的導航類別檢索需求時，他們的點擊都會集中在其檢索目標網(wǎng)頁（或其鏡像）上。網(wǎng)頁r 針對查詢q的點擊集中度q的點擊集中度最高

15、的r即為其檢索目標頁面,搜索引擎效果自動評價,針對導航類查詢的結(jié)果自動標注標注算法：尋找針對q的ClickFocus值最大的r標注樣例,搜索引擎效果自動評價,針對信息事務類查詢需求的答案自動標注基于多搜索引擎用戶行為挖掘1. 利用單搜索引擎用戶行為挖掘方式，進行各自獨立的標注2. 借鑒Pooling做法，綜合不同標注者（這里為搜索引擎用戶的宏觀行為）的意見,搜索引擎效果自動評價,基于多搜索引擎用戶行為挖掘的標注算法需要考慮的

16、因素用戶點擊行為差異用戶訪問量差異查詢分布差異搜索引擎相對重要性的差異綜合考慮以上因素，計算某個結(jié)果對于某個查詢的置信度,搜索引擎效果自動評價,合并計算結(jié)果url對于查詢q的置信度 基于單搜索引擎進行答案標注的可信度依據(jù)查詢用戶數(shù)來計算,搜索引擎效果自動評價,單獨某個搜索引擎標注答案的可信程度依據(jù)此搜索引擎的用戶點擊的宏觀集中程度來確定,搜索引擎效果自動評價,查詢點擊分布合并模型其中， 反映不同搜

17、索引擎在結(jié)果標注中的重要程度,搜索引擎效果自動評價,例：查詢“瘋狂英語”,答案自動標注實驗,實驗數(shù)據(jù)8個月查詢?nèi)罩?超過7億條日志信息)針對其中高頻導航類查詢進行自動標注對每個時間段抽取約5%的數(shù)據(jù)進行手工檢查,自動性能評價實驗,與手工評價結(jié)果類似手工評價結(jié)果與自動評價結(jié)果MRR值的相關(guān)系數(shù)達到0.965,SE1 SE2 SE3 SE4 SE5

18、,自動性能評價實驗,使用不同日志數(shù)據(jù)的實驗使用單搜索引擎日志,SE1 SE2 SE3 SE4 SE5 SE6,自動性能評價實驗,使用不同類型日志數(shù)據(jù)的實驗使用多搜索引擎日志,SE1 SE2 SE3 SE4 SE5 SE6,自動性能評價實驗,使用不

19、同類型日志數(shù)據(jù)的實驗使用多搜索引擎日志進行交叉評價（評價某搜索引擎性能時不使用其對應的日志數(shù)據(jù)）,SE1 SE2 SE3 SE4,自動性能評價實驗,針對中文搜索引擎的評價實驗導航類信息需求易于進行手工評價的比較信息事務類信息需求用于參照的手工評價結(jié)果的正確性本身難以保證難以進行答案可靠性的驗證“搜索儀”的評價結(jié)果（參見

20、演示）,提綱,研究背景信息檢索系統(tǒng)的評價方法基于用戶行為分析的搜索引擎性能評價演示系統(tǒng)：搜索儀結(jié)論與未來工作,搜索儀：評價搜索,Http://searchE.thuir.cn/,搜索儀：評價搜索,Http://searchE.thuir.cn/,搜索儀：評價搜索,主要特點一定程度取代評價搜索引擎性能的繁瑣手工標注操作更加客觀、標準均一反饋周期更短標注代表性更強實現(xiàn)對數(shù)以千計查詢主題的標注功能演示！,提綱,研究背景信

21、息檢索系統(tǒng)的評價方法基于用戶行為分析的搜索引擎性能評價演示系統(tǒng)：搜索儀結(jié)論與未來工作,結(jié)論與未來工作,用戶行為分析的方法一直是信息檢索相關(guān)研究向前發(fā)展的推動力實質(zhì)：對人類信息獲取規(guī)律的研究基于用戶行為分析的方法進行搜索引擎性能評價是適當?shù)乃阉饕娴淖詣有阅茉u價導航類查詢需求能夠較好的實現(xiàn)自動評價信息事務類查詢?nèi)孕柽M一步的考察,可能的未來應用方向,檢索效果的實時監(jiān)控檢索系統(tǒng)自身運營維護的需要及時發(fā)現(xiàn)并預警系統(tǒng)問題面向

22、特定領域需求的性能評價特定領域需求 => 特定領域查詢詞針對特定領域需求，使用特定的查詢詞進行評價。,可能的未來應用方向,汽車領域的搜索引擎排名查詢詞樣例：現(xiàn)代、奇瑞汽車、寶馬,可能的未來應用方向,流行歌手領域的搜索引擎排名查詢詞樣例：周杰倫、劉德華、林心如,部分相關(guān)文獻,Yiqun Liu, Yupeng Fu, Min Zhang, Liyun Ru, Shaoping Ma. 2007. Automatic sear

23、ch engine performance evaluation with click-through data analysis. In Proceedings of the 16th international Conference on World Wide Web, WWW '07. 1133-1134.劉奕群，張敏，金奕江，馬少平，一種搜索引擎性能評價的自動化處理方法，專利申請?zhí)?00610144289.X。岑榮偉

24、，劉奕群，張敏，金奕江，馬少平，一種基于用戶行為信息的搜索引擎檢索結(jié)果重排序方法，專利申請?zhí)?00710099594.6。岑榮偉，劉奕群，張敏，金奕江，馬少平，一種網(wǎng)絡關(guān)鍵資源頁面的自動定位方法，專利申請?zhí)?00710098531.9劉奕群,岑榮偉,張敏,馬少平.基于用戶行為分析的搜索引擎自動性能評價.軟件學報2007年已錄用.,廣告：NCIRCS2008,歡迎大家向第四屆全國信息檢索與內(nèi)容學術(shù)會議積極投稿2008年11月在北京舉