基于主題爬蟲與文本分類的微博資訊智能生成策略研究.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展,中國手機(jī)網(wǎng)民數(shù)量已經(jīng)超越PC,各種手機(jī)應(yīng)用層出不窮,其中手機(jī)微博已經(jīng)成為使用率增長最快的手機(jī)應(yīng)用。越來越多的人們使用微博進(jìn)行交流互動(dòng),尤其是在面向垂直細(xì)分領(lǐng)域的專業(yè)微博中,用戶有強(qiáng)烈的獲取權(quán)威資訊信息的需求。但是,傳統(tǒng)的微博缺乏良好的信息查詢與推送功能,難以滿足不同人群的信息獲取需要。因此,根據(jù)不同行業(yè)主題,利用微博平臺(tái)將互聯(lián)網(wǎng)上豐富的行業(yè)資訊信息進(jìn)行自動(dòng)采集推送,具有重要的理論研究和實(shí)際應(yīng)用價(jià)值。
　　

2、在基于主題爬蟲與文本分類的微博資訊智能生成策略中,利用主題爬蟲技術(shù)和文本分類技術(shù)將互聯(lián)網(wǎng)上豐富的行業(yè)信息按主題進(jìn)行采集分類并通過手機(jī)微博客戶端向特定用戶群體提供資訊查詢和推送服務(wù)。首先,在針對(duì)主題信息的采集中提出了一種面向特定領(lǐng)域的主題式爬取策略,通過對(duì)開源爬蟲框架Heritrix進(jìn)行主題模塊的擴(kuò)展,使爬蟲只抓取與特定主題相關(guān)的最新行業(yè)信息。其次,在網(wǎng)頁數(shù)據(jù)處理過程中通過改進(jìn)文本分類算法,設(shè)計(jì)了一種中文網(wǎng)頁文本分類器,對(duì)抓取的網(wǎng)頁按行業(yè)

3、主題進(jìn)行自動(dòng)細(xì)分類并提取數(shù)據(jù)生成有價(jià)值資訊信息。然后,通過手機(jī)微博平臺(tái)將分類的信息通過設(shè)定的不同微博頻道或者智能賬號(hào)進(jìn)行動(dòng)態(tài)展示與發(fā)布。最后,以農(nóng)業(yè)主題為例將基于主題爬蟲與文本分類的微博資訊智能生成策略應(yīng)用在海南手機(jī)農(nóng)業(yè)微博中進(jìn)行農(nóng)務(wù)資訊的生成與推送。
　　在海南手機(jī)農(nóng)業(yè)微博中實(shí)現(xiàn)農(nóng)業(yè)微博資訊的智能生成,并對(duì)微博資訊生成策略進(jìn)行了相關(guān)的功能和性能測試。實(shí)驗(yàn)結(jié)果表明:這種微博資訊生成策略能夠及時(shí)獲取最新行業(yè)相關(guān)資訊,進(jìn)行詳細(xì)準(zhǔn)確的信