基于數(shù)據(jù)挖掘的電子商務產(chǎn)品質(zhì)量風險評估技術研究.pdf

1、隨著網(wǎng)絡技術和信息技術的發(fā)展，互聯(lián)網(wǎng)不可阻擋地進入了人們的生活，并且改變了人們的生活方式。但由于電子商務的虛擬性、跨地域性，消費者所購買的產(chǎn)品可能會存在質(zhì)量風險。針對該問題，本文在前人的研究基礎上，提出了基于電子商務平臺的用戶評論數(shù)據(jù)的風險評估模型，該模型可以準確地識別風險，評估風險等級，發(fā)布相應的預警信息，使得監(jiān)管人員對風險做出快速的應對措施。如何客觀的評估產(chǎn)品質(zhì)量的風險，使得監(jiān)管機構(gòu)對其做出快速的反應是本文的研究重點。本文主要研究了

2、以下幾個方面：
　　本文對電商產(chǎn)品數(shù)據(jù)通過R語言的數(shù)據(jù)處理技術對數(shù)據(jù)進行空值和異常值處理以及使用基于Spark并行化ansj的jar包對數(shù)據(jù)集進行中文的文本分詞和去停用詞處理，從而得到預處理后的訓練數(shù)據(jù)。然后在隨機森林的袋外數(shù)據(jù)的特征屬性中加入噪聲，并將計算所得到誤差進行重要性排序，以此來進行電子商務產(chǎn)品質(zhì)量風險評估的特征選擇，并在Spark計算框架上實現(xiàn)。
　　在電子商務產(chǎn)品質(zhì)量的風險評估中，提出了一種基于Spark并行化

3、的改進樸素貝葉斯算法來建立風險模型。樸素貝葉斯算法是假設特征之間相互獨立，然而在實際中，它們之間是息息相關的，所以利用MinHash來計算特征屬性與決策標簽之間關聯(lián)程度，對貝葉斯算法中的條件概率進行加權運算，并在Spark實現(xiàn)算法的并行化。
　　本文通過構(gòu)建基于Spark大規(guī)模集群進行了仿真實驗。在UCI數(shù)據(jù)集上，驗證了基于Spark并行化的改進貝葉斯算法相比于樸素貝葉斯算法及其串行算法在準確率、召回率以及時間上有更好的效果。當實