基于Scrapy的電子商務網絡測量與網絡特征分析.pdf

1、互聯網的廣泛使用和互聯網應用的不斷豐富為電子商務蓬勃發(fā)展提供了良好的環(huán)境和契機。目前淘寶網是我國最具實力的個人對個人的網上交易網站，關于電子商務網絡特征的研究主要集中在淘寶網上，都是以電子商務的營銷為目的來剖析網上交易行為，主要包括信用評價體制、營銷策略、賣家銷售參數的統(tǒng)計分析等。本文將從圖論的角度來研究電子商務網絡，首先通過數據抓取技術得到一個真實的網絡數據集，然后在該數據集上分析淘寶網的拓撲特征及其中用戶行為特點。目的是探究在線社會

2、網絡中的用戶行為對網上交易的影響。主要工作包括以下三個方面：
　　第一，由于網絡規(guī)模非常龐大且網絡結構非常復雜，引入抽樣技術成為大規(guī)模網絡數據測量中不可缺少的環(huán)節(jié)。本文提出了一種適用于二分網絡的抽樣算法，該算法是通過理論推導和算法實現的適應性修改將適用于普通圖的抽樣算法MHRW(Metropolis-Hastings Random Walk)算法推廣到二分圖上。MHRW算法是一種性能比較好的無偏的抽樣算法。為了驗證該算法在二分圖上

3、的抽樣性能，本文分別在合成圖和實際網絡數據集上檢測MHRW算法的抽樣效果。
　　第二，本文選用Scrapy爬蟲框架作為爬取數據的工具。通過對淘寶網頁頁面格式的深入分析，結合BFS和MHRW兩種抽樣方法，在5臺PC上同時并發(fā)連續(xù)運行爬蟲程序30天，最終得到淘寶分享網絡的數據集。本文中列出了數據抓取過程中遇到的主要問題，并通過對問題本質的剖析給出了最終的解決方法。為了分析分享平臺與賣家特性的關系，本文還抓取了淘寶網中服裝類所有賣家的信

4、息。分析發(fā)現：網絡中的商家存在短時間內迅速崛起的現象，說明電子商務為新生的有強勁發(fā)展實力的賣家創(chuàng)造了良好的環(huán)境，為新創(chuàng)業(yè)者提供了一個較好的平臺。
　　第三，在淘寶分享平臺數據集上分析用戶行為特征。本文給出了所得數據集的規(guī)模參數，分析了買家、寶貝、賣家三類節(jié)點的屬性特征，進一步給出了賣家與相連買家的各屬性之間的關系，最后討論了在買家分享網絡的特點。分析結果表明，淘寶分享網絡中買家和寶貝節(jié)點的度值大部分處于10～100之間；寶分享平臺