基于Web信息獲取的新聞數(shù)據(jù)分析研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，針對于日益膨脹的Web信息，搜索引擎成為人們應(yīng)用Web的一個信息導(dǎo)航工具。其中，有著行業(yè)色彩并且兼有“專、精、深”特點的垂直搜索引擎越來越受到用戶的青睞?，F(xiàn)在，垂直搜索引擎已經(jīng)覆蓋了很多行業(yè)：房產(chǎn)、求職、商務(wù)、醫(yī)療健康和公交出行等。但是經(jīng)調(diào)查研究發(fā)現(xiàn)，關(guān)于外匯新聞的垂直搜索技術(shù)還沒有一個成熟的平臺，但是市場的需求是存在的。現(xiàn)在關(guān)注外匯市場交易的人越來越多，基于這樣的需求，本文即結(jié)合垂直搜索引擎技術(shù)設(shè)計了以外匯新聞為

2、主題的新聞分析引擎系統(tǒng)，用以幫助匯市的用戶更加方便的掌握外匯市場方面的訊息。
　　 本文應(yīng)用開源軟件Heritrix作為爬蟲工具，對國內(nèi)外著名外匯新聞網(wǎng)站進(jìn)行信息的抓取，通過對Heritrix的一些組件進(jìn)行定制，得以對抓取的新聞信息進(jìn)行搜集和初步過濾。然后對網(wǎng)頁內(nèi)容進(jìn)行分析，去除文本格式，通過過濾算法，轉(zhuǎn)換為文本文字。進(jìn)而將這些信息進(jìn)行進(jìn)一步的分詞，過濾高頻詞匯和虛詞，得到適合于索引的語素單元組合。利用Lucene工具并且結(jié)合倒