安卓技術(shù)信息的主題爬蟲技術(shù)研究與實(shí)現(xiàn).pdf

1、為提高企業(yè)內(nèi)安卓研發(fā)人員的工作效率，企業(yè)開發(fā)了安卓技術(shù)信息的垂直搜索引擎。在垂直搜索引擎中，最為基礎(chǔ)和底層的數(shù)據(jù)是由主題爬蟲提供的。因此主題爬蟲的能力決定了整個(gè)垂直搜索引擎在該領(lǐng)域上的專業(yè)程度。而主題爬蟲能夠找準(zhǔn)方向進(jìn)行爬行就能高效合理地到達(dá)垂直資源所在的位置，也就能高效率地獲得符合主題的資源。為此，本文將對(duì)主題爬蟲的核心部分——主題爬行策略展開論述，并針對(duì)策略中的兩個(gè)子功能網(wǎng)頁主題相關(guān)度判斷和隧道穿越進(jìn)行研究與實(shí)現(xiàn)。因此論文比較了現(xiàn)有

2、的基于網(wǎng)頁內(nèi)容和網(wǎng)頁鏈接結(jié)構(gòu)多種算法的優(yōu)劣，并對(duì)安卓技術(shù)信息的資源進(jìn)行分析制定專有的網(wǎng)頁主題相關(guān)度判斷方案，并實(shí)現(xiàn)穿越隧道的能力。其中主要貢獻(xiàn)如下：
　　(1)實(shí)現(xiàn)了參考谷歌的網(wǎng)頁排名算法并改進(jìn)了鯊魚搜索對(duì)主題背景不適用的部分，最后結(jié)合一個(gè)參考網(wǎng)頁兄弟節(jié)點(diǎn)的綜合方案進(jìn)行爬行;
　　(2)為了提高獲取主題資源的準(zhǔn)確率，課題制定了基于向量空間模型對(duì)分類后的網(wǎng)頁內(nèi)容進(jìn)行主題相關(guān)度計(jì)算的方法;
　　(3)為擴(kuò)大爬行結(jié)果在網(wǎng)站中