WEB信息自動(dòng)獲取平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)含有海量信息，然而，人們?cè)诿鎸?duì)浩如煙海的網(wǎng)絡(luò)信息時(shí)往往感到束手無(wú)策，無(wú)法準(zhǔn)確快速地獲取人們真正需要的信息。本文認(rèn)為傳統(tǒng)信息獲取技術(shù)與人工智能和Agent技術(shù)相結(jié)合，能夠高效準(zhǔn)確地獲取網(wǎng)絡(luò)信息為用戶提供個(gè)性化信息服務(wù)，也是解決互聯(lián)網(wǎng)“信息過(guò)載”問(wèn)題的有效方法之一。本文利用多Agent技術(shù)去解決在獲取網(wǎng)絡(luò)信息時(shí)所遇到的問(wèn)題。 本文主要對(duì)如何能高效、準(zhǔn)確、個(gè)性化的獲取信息進(jìn)行深入研究。首先把對(duì)信息獲取技術(shù)的研究分兩個(gè)部分來(lái)進(jìn)行，

2、即資源發(fā)現(xiàn)模塊和信息抽取模塊。對(duì)于資源發(fā)現(xiàn)模塊，主要在如何能夠從廣度和深度兩個(gè)方面去發(fā)現(xiàn)資源提出了一種新的搜索算法，同時(shí)利用了多Agent技術(shù)實(shí)現(xiàn)了分布式的資源發(fā)現(xiàn)，每個(gè)頁(yè)面獲取Agent攜帶有基于支持向量機(jī)原理實(shí)現(xiàn)的分類算法，可以直接對(duì)所獲取的頁(yè)面進(jìn)行分類。在進(jìn)行資源發(fā)現(xiàn)的過(guò)程中根據(jù)URL評(píng)價(jià)算法對(duì)各個(gè)信息源進(jìn)行了綜合評(píng)價(jià)，根據(jù)評(píng)價(jià)結(jié)果對(duì)信息源進(jìn)行排序。對(duì)于信息抽取模塊，不但考慮到抽取到數(shù)據(jù)的數(shù)量還考慮到抽取到信息的有效性，在該模塊提

3、出了一種新的抽取規(guī)則表示方法，提高了在信息抽取過(guò)程中規(guī)則的適應(yīng)性。在進(jìn)行抽取的過(guò)程中，利用各個(gè)類別的Agent進(jìn)行分布式抽取并對(duì)抽取到的數(shù)據(jù)進(jìn)行了各種處理如分類，去重等。除此之外，還提出了對(duì)規(guī)則的有效性進(jìn)行檢驗(yàn)的方法。 其次，在整個(gè)信息獲取模型中利用了多Agent技術(shù)。在對(duì)Agent技術(shù)進(jìn)行研究的過(guò)程中，對(duì)Agent技術(shù)的現(xiàn)狀及應(yīng)用領(lǐng)域進(jìn)行了分析，對(duì)Agent技術(shù)應(yīng)用中所遇到的一些問(wèn)題進(jìn)行逐個(gè)深入分析并給出對(duì)策，然后在此基礎(chǔ)上建