基于大數(shù)據(jù)處理技術(shù)的“專家機器人”研究.pdf

1、現(xiàn)如今互聯(lián)網(wǎng)上的學術(shù)論文、期刊文獻、專利數(shù)據(jù)庫、網(wǎng)絡媒體、社交平臺（微信、微博、博客、論壇）等載體上蘊藏著多個領(lǐng)域的潛藏知識，文中將這些載體涉及的專業(yè)領(lǐng)域稱之為“專家領(lǐng)域”?！皩＜翌I(lǐng)域”中蘊藏著如：專家研究成果、學術(shù)觀點、工作動態(tài)及最新言論等“專家數(shù)據(jù)”。如果合理的組織、運用這些“專家數(shù)據(jù)”，將得到遠高于數(shù)據(jù)本身的更有價值的資源?！皩＜覚C器人”的研究就是對這些專家數(shù)據(jù)資源的分析、挖掘的過程。通過對專家機器人的研究來深入提取、解析海量數(shù)據(jù)

2、中蘊藏的有用信息，并將其轉(zhuǎn)換為可理解，可用的知識資源。本文是基于大數(shù)據(jù)的專家機器人研究，實際上是大數(shù)據(jù)研究在專家領(lǐng)域的一個縮影，本文是分別從數(shù)據(jù)處理速度、數(shù)據(jù)關(guān)聯(lián)挖掘、數(shù)據(jù)應用質(zhì)量三方面，對互聯(lián)網(wǎng)中涌現(xiàn)的專家數(shù)據(jù)進行的研究。
　　本文具體研究工作包括以下幾個方面：
　　第一，詳細分析了Hadoop平臺,并重點介紹了MapReduce分布式編程模型以及HDFS分布式文件系統(tǒng)。同時詳細描述了全文搜索引擎的工作原理及索引構(gòu)建流程，

3、由于目前專家數(shù)據(jù)的激增，以及單機構(gòu)建索引在效率和安全上的不足，提出了基于MapReduce的并行索引構(gòu)建思想。
　　第二，描述了基于網(wǎng)頁的評分算法PageRank算法的工作原理，及其通過冪法迭代求解PR值的過程。為提高“專家領(lǐng)域”的學術(shù)索引結(jié)果質(zhì)量，本文提出適用于“專家領(lǐng)域”的E-PeopleRank評分算法，目的是通過對專家打分排名，衡量各領(lǐng)域?qū)＜以跈z索結(jié)果中占的比重。E-PeopleRank算法改進了原算法主題無關(guān)性缺點，并更

4、換了原算法模型的映射關(guān)系?？紤]迭代中數(shù)據(jù)增長情況，本文將E-PeopleRank算法引入到MapReduce的編程架構(gòu)中，并詳細描述了各階段的具體任務分配。
　　第三，為了實現(xiàn)用戶的個性化搜索，文中詳細描述了協(xié)同過濾算法的具體原理及算法模型。為解決協(xié)同過濾算法中未考慮時間變化因素的問題，提出了適用于用戶興趣變化的協(xié)同過濾推薦算法，文中引入了興趣偏移函數(shù)，對協(xié)同過濾算法的推薦模型進行了改進，隨后詳細描述了算法改進的具體過程。