kad絡(luò)文件名分類研究 - 頁面沒有找到

1、Kad網(wǎng)絡(luò)節(jié)點資源探測分析?劉祥濤12，龔才春3，劉悅1，白碩11（中國科學(xué)院計算技術(shù)研究所北京100190）2（中國科學(xué)院研究生院北京100190）3（北京市計算中心北京100005）摘要Kad網(wǎng)絡(luò)中存在數(shù)以億計的共享資源，而其中有相當(dāng)一部分可被評定為敏感資源。首先用我們的Kad網(wǎng)絡(luò)采集器：Rainbow對節(jié)點擁有的文件資源進行探測；然后對節(jié)點資源和敏感資源進行相關(guān)統(tǒng)計分析。我們發(fā)現(xiàn)：1)文件流行度和文件所對應(yīng)的文件名數(shù)量都近似符合Z

2、ipf分布；2)利用同一個“文件內(nèi)容哈希”(即filecontenthash)的多個文件名的共現(xiàn)詞可以更準(zhǔn)確地進行敏感判別；3)敏感資源占隨機樣本的6.34%，且敏感資源中74.8%為video文件。關(guān)鍵詞關(guān)鍵詞對等網(wǎng)絡(luò)；Kad網(wǎng)絡(luò)；探測分析；敏感資源PeerResourceMeasurementAnalysisinKadwkLiuXiangTao12GongCaiChun3LiuYue1BaiShuo11(InstituteofCom

3、putingTechnologyChineseAcademyofSciencesBeijing100190)2(GraduateUniversityChineseAcademyofSciencesBeijing100190)3(BeijingComputingCenterBeijing100005)AbstractInKadwktherearehundredsofmillionsofsharedresourcesamongwhichac

4、onsiderablepartcanberatedassensitiveresources.FirstlythefileresourcesofpeersaremeasuredusingourKadwkcrawler:Rainbowthenthoseresourcessensitiveresourcesarestatisticallyanalyzed.Wefindthat:1)boththepopularityoffilesthenumb

5、eroffilenamescrespondingtoafileapproximatelyfitZipfdistribution2)thesensitivityoffilescanbejudgedmeaccuratelyusingcooccurrencewdsinmultiplefilenamescrespondingtothesamefilecontenthash3)sensitiveresourcesonlyoccupy6.34%of

6、romsample74.8%ofsensitiveresourcesarevideofiles.KeywdsPeertopeerwkKadwkmeasurementanalysissensitiveresource1引言引言eMule網(wǎng)絡(luò)[1]是一種混合類型的文件共享對等網(wǎng)絡(luò)，它由兩部分：集中式網(wǎng)絡(luò)和純分布式網(wǎng)絡(luò)組成。其中純分布式網(wǎng)絡(luò)采用了Kademlia協(xié)議[2]，是eMule網(wǎng)絡(luò)的主要組成部分。一般來說，采用Kademlia協(xié)議的e

7、Mule網(wǎng)絡(luò)稱為Kad網(wǎng)絡(luò)。Ipoque2008~2009年度的因特網(wǎng)流量報告表明：依地理位置的不同，eMule占P2P流量的2%~47%，占因特網(wǎng)流量?基金項目：基金項目：本課題得到國家自然科學(xué)基金（No.60803085No.60873245）；國家高技術(shù)研究發(fā)展計劃(863計劃)（2006AA01Z452）的資助。作者簡介：作者簡介：劉祥濤，男，1977年生，博士研究生，研究方向：P2P網(wǎng)絡(luò)安全，數(shù)據(jù)挖掘等，Email：..龔才春

8、，男，1978年生，博士，研究方向：信息檢索，數(shù)據(jù)挖掘等.劉悅，女，1971年生，副研究員，研究方向：信息檢索，社區(qū)挖掘與分析，分布式計算等.白碩，男，1956年生，博士，研究員，博士生導(dǎo)師，研究方向：自然語言處理，網(wǎng)絡(luò)安全等.文件分為3個類別：敏感文件、正常文件、忽略文件，分別簡稱C1、C2和C3類文件。定義定義1.1.敏感文件(C1類文件)：其內(nèi)容不合適讓特定人群瀏覽的文件。比如：文件名為“風(fēng)騷的女子_俄羅斯.rar”的文件是敏感文

9、件。又比如：“WaterMelonscd1.www.EMuleX.es.avi”單從文件名看不出是否敏感，但通過搜索引擎查找相關(guān)信息可以獲知是一個色情敏感電影。定義2.2.正常文件(C2類文件)：其內(nèi)容合適讓特定人群瀏覽的文件。比如：“漢初軍事史研究.pdf”是一個正常的電子書文件；“ThePointerSistersAutomatic.mp3”是一個正常的音樂文件。定義定義3.3.忽略文件(C3類文件)：因為文件名及其相關(guān)信息不足或因

10、為語言差異以至不能正確區(qū)分某文件是否敏感或正常的文件。比如：“.bmp”、“0094.gif”和“(Reggaeton)TitoYHectGataSalvaje.mp3”都是忽略文件。3相關(guān)工作相關(guān)工作對等網(wǎng)絡(luò)爬蟲探測工作開展較早，2002年，Saroiu等人率先使用主動測量方法對當(dāng)時最為流行的Gnutella和Napster進行了拓?fù)錅y量[6]。2005年，Stutzbach等人在前人的工作基礎(chǔ)上改進了主動測量方法并開發(fā)出了快速分布式

11、Gnutella拓?fù)洳杉鳎篊ruiser，證明了因為節(jié)點震蕩(churn)和采集器采集速度太慢可能導(dǎo)致錯誤的實驗結(jié)論[7]。因此，使得提高Crawler的采集速度成為提高拓?fù)錅y量準(zhǔn)確性的關(guān)鍵問題。2008年，王勇等人針對Gnutella網(wǎng)絡(luò)設(shè)計了基于正反饋的分布式Gnutella拓?fù)洳杉鳎篋Crawler，提出了度量采集器準(zhǔn)確性、完整性的衡量指標(biāo)，分析了Gnutella網(wǎng)絡(luò)拓?fù)鋱D的度等級分布特征、度頻率分布特征以及小世界特性[10]

12、。Kademlia協(xié)議的實現(xiàn)有Kad網(wǎng)絡(luò)和Bittrent的DHT網(wǎng)絡(luò)等。2006年Stutzbach等人針對Kad網(wǎng)絡(luò)提出了計算查詢性能的分析框架，并開發(fā)出了兩個軟件：kFetch和kLookup用于采集和計算Kad網(wǎng)絡(luò)的查詢性能[8]。2006年Stutzbach等人對三個P2P網(wǎng)絡(luò)：Gnutella、Kad網(wǎng)絡(luò)和Bittrent進行了測量分析，針對Kad網(wǎng)絡(luò)，他們用Cruiser采集了兩天的拓?fù)鋽?shù)據(jù)，然后對節(jié)點可用性進行了分析[9

13、]。2007年Steiner等人設(shè)計了Kad網(wǎng)絡(luò)采集器：Blizzard并進行了為期179天的Kad網(wǎng)絡(luò)采集，獲得了節(jié)點的地理分布、會話時間、節(jié)點可用性和生命周期等測度的測量結(jié)果[11][12][13]。2007年Falkner等人在PlaLab實驗條件下，對Bittrent的一個客戶端Azureus的DHT網(wǎng)絡(luò)進行了測量[14]。與節(jié)點資源分析相關(guān)的工作有對等網(wǎng)絡(luò)垃圾過濾(P2PSpamFiltering)等，2005年，J.Lian