基于查詢接口特征的深度網(wǎng)絡(luò)資源聚類分析.pdf

1、互聯(lián)網(wǎng)的快速發(fā)展，給人們帶來了海量的信息，并且這些信息仍然在快速增長(zhǎng)。整個(gè)互聯(lián)網(wǎng)可以劃分為表層網(wǎng)絡(luò)和深度網(wǎng)絡(luò)兩部分，其中表層網(wǎng)絡(luò)是指通過超鏈接可以被傳統(tǒng)搜索引擎索引到的頁面的集合，而深度網(wǎng)絡(luò)指的是互聯(lián)網(wǎng)上的網(wǎng)絡(luò)數(shù)據(jù)庫，其資源只能通過網(wǎng)絡(luò)數(shù)據(jù)庫提供的查詢接口才能訪問。與表層網(wǎng)絡(luò)相比，深度網(wǎng)絡(luò)包含的數(shù)據(jù)質(zhì)量更高、更專業(yè)。然而，由于深度網(wǎng)絡(luò)數(shù)據(jù)的異構(gòu)性和動(dòng)態(tài)性，必須對(duì)其進(jìn)行數(shù)據(jù)集成后才能有效地加以利用，而有效地把這些信息按照領(lǐng)域分類則是對(duì)其進(jìn)

2、行數(shù)據(jù)集成的先決條件。 查詢接口是進(jìn)入深度網(wǎng)絡(luò)的唯一途徑，它首先是一個(gè)表單，但并非所有的表單都是查詢接口，對(duì)此，本文實(shí)現(xiàn)表單分類器將查詢接口從表單中分離。同時(shí)，通過對(duì)查詢接口的實(shí)驗(yàn)，發(fā)現(xiàn)查詢接口所具有的特征可以代表深度數(shù)據(jù)資源的領(lǐng)域及查詢能力，從而利用查詢接口特征來聚類深度網(wǎng)絡(luò)資源。查詢接口與普通文本聚類一個(gè)區(qū)別在于查詢接口的特征矩陣稀疏，因此利用傳統(tǒng)的基于距離相似度的凝聚層次聚類算法聚類效果不是很理想，針對(duì)該問題，本文利用非參

3、數(shù)假設(shè)檢驗(yàn)的方法來求類簇間的相似，并改進(jìn)相似度目標(biāo)函數(shù)，將其運(yùn)用到傳統(tǒng)的凝聚層次聚類算法中，實(shí)現(xiàn)對(duì)查詢接口的聚類，從而也就實(shí)現(xiàn)了對(duì)查詢接口所代表的深度網(wǎng)絡(luò)資源的聚類。 運(yùn)用假設(shè)檢驗(yàn)進(jìn)行聚類時(shí)，因?yàn)榻y(tǒng)計(jì)中對(duì)事件的觀察值有要求，而初始類簇不經(jīng)處理可能不滿足假設(shè)檢驗(yàn)的要求，針對(duì)該問題，本文使用對(duì)查詢接口進(jìn)行預(yù)處理的思想即首先對(duì)所有查詢接口進(jìn)行接口類型過濾，然后根據(jù)屬性間的包含程度將數(shù)據(jù)分組，再根據(jù)屬性的發(fā)生次數(shù)對(duì)組進(jìn)行過濾，最后只對(duì)那