基于二次定位的構(gòu)件描述信息抽取.pdf

1、當(dāng)前軟件行業(yè)不斷發(fā)展，開(kāi)發(fā)與維護(hù)成本也在不斷增加，軟件復(fù)用，特別是基于構(gòu)件的軟件研發(fā)，成為一種有效的解決途徑。網(wǎng)上越來(lái)越多的構(gòu)件加大了用戶(hù)查找自己感興趣產(chǎn)品的難度，通過(guò)網(wǎng)頁(yè)信息抽取技術(shù)搜集互聯(lián)網(wǎng)上的構(gòu)件產(chǎn)品，并將構(gòu)件的描述信息進(jìn)行結(jié)構(gòu)化整理，可以極大的提高軟件開(kāi)發(fā)人員尋找所需構(gòu)件的效率。因此有必要對(duì)構(gòu)件描述信息的抽取方法做進(jìn)一步的研究。
　　基于二次定位的構(gòu)件描述信息抽取算法結(jié)合了頁(yè)面結(jié)構(gòu)與文本內(nèi)容的特征，通過(guò)URL聚類(lèi)將爬取到的

2、相關(guān)頁(yè)面進(jìn)行分類(lèi)，使得聚類(lèi)中的頁(yè)面具有一定的相似性，而聚類(lèi)間的頁(yè)面具有較大的差異性，然后對(duì)這些HTML頁(yè)面進(jìn)行規(guī)格化修復(fù)、剔除噪聲信息，并將文檔解析為DOM樹(shù)，以便于對(duì)文檔內(nèi)容進(jìn)行后續(xù)操作。將構(gòu)件信息頁(yè)面分為三個(gè)區(qū)塊：構(gòu)件信息塊、模糊信息塊和非信息塊，模糊信息塊定位算法利用同一聚類(lèi)頁(yè)面中有效內(nèi)容相異的特點(diǎn)，提取出若干個(gè)模糊信息塊，構(gòu)件信息塊定位算法使用屬性名匹配與無(wú)關(guān)信息所占比例來(lái)篩選出具體的構(gòu)件信息塊。通過(guò)構(gòu)件屬性模式識(shí)別的方法判斷屬