半結(jié)構(gòu)化網(wǎng)絡(luò)信息抽取技術(shù)及應(yīng)用研究.pdf

1、本課題研究是實(shí)驗(yàn)室課題“電腦農(nóng)業(yè)”的一部分，針對(duì)農(nóng)產(chǎn)品的季節(jié)性，周期性和區(qū)域性的特點(diǎn)，進(jìn)行實(shí)時(shí)的信息采集尤為重要。 本文針對(duì)農(nóng)產(chǎn)品市場(chǎng)價(jià)格數(shù)據(jù)，采用了基于XML和XPath的方法，以生成簡(jiǎn)單、精確和健壯性較好的抽取規(guī)則，開發(fā)了可視化網(wǎng)頁(yè)信息抽取平臺(tái)，使得用戶通過(guò)簡(jiǎn)單的輸入、點(diǎn)擊、復(fù)制、粘貼等操作，即可完成同一站點(diǎn)頁(yè)面簇中各頁(yè)面分量?jī)r(jià)格數(shù)據(jù)的自動(dòng)化批量抽取。抽取結(jié)果具有很好的精確性和召回率。該平臺(tái)可以實(shí)時(shí)、自動(dòng)地抽取網(wǎng)絡(luò)上的數(shù)據(jù)，

2、并在對(duì)抽取結(jié)果進(jìn)行整理、清洗后存入后臺(tái)數(shù)據(jù)庫(kù)。然后建立查詢網(wǎng)站，使收集到的數(shù)據(jù)能夠通過(guò)網(wǎng)頁(yè)的形式展現(xiàn)給用戶。 同時(shí)本文采用了基于參照文本和文檔對(duì)象模型(DOM)相結(jié)合的方法來(lái)對(duì)農(nóng)產(chǎn)品供求信息進(jìn)行抽取，該方法利用基于參照文本抽取的靈活性和DOM樹結(jié)構(gòu)定位的精確性，可以對(duì)網(wǎng)頁(yè)結(jié)構(gòu)多變的一類網(wǎng)頁(yè)準(zhǔn)確的進(jìn)行信息抽取。同時(shí)結(jié)合GSM和網(wǎng)絡(luò)爬蟲技術(shù)，開發(fā)了基于GSM和Web信息抽取的短信推送服務(wù)平臺(tái)，能夠?qū)⒂脩舾信d趣的信息以短信的方式及時(shí)推