面向移動商務(wù)的數(shù)據(jù)挖掘方法及應(yīng)用研究.pdf

1、近年來，隨著移動互聯(lián)網(wǎng)相關(guān)技術(shù)的高速發(fā)展，各種移動應(yīng)用和服務(wù)在規(guī)模上呈現(xiàn)出前所未有的增長態(tài)勢。種類繁多的移動應(yīng)用和服務(wù)覆蓋了諸如生活娛樂、在線社交、導(dǎo)航定位等各種功能層面，從而滿足了移動用戶在日常生活中各式各樣的功能需求。與此同時，這些移動應(yīng)用和服務(wù)也產(chǎn)生了海量的用戶交互記錄與歷史商務(wù)數(shù)據(jù)，為研究者深入探索移動商務(wù)環(huán)境下的潛在價值、開發(fā)全新的移動商務(wù)應(yīng)用和服務(wù)帶來了全新的機遇和挑戰(zhàn)。事實上，針對移動商務(wù)智能的研究方興未艾，近年來在國際學(xué)

2、術(shù)界和產(chǎn)業(yè)界均受到廣泛的重視?；谝陨媳尘埃疚拈_展了針對移動商務(wù)的數(shù)據(jù)挖掘方法的一系列探索性研究。具體地，結(jié)合來自于智能移動應(yīng)用程序（簡稱移動App）的新型商務(wù)數(shù)據(jù)，從用戶理解、應(yīng)用理解、應(yīng)用孵化等三個層面開展了研究工作?；谶@三個層面，分別提出了情境感知的移動用戶個性化偏好挖掘方法、基于擴展信息的移動App分類方法、面向移動App的排名欺詐檢測方法、面向移動App的流行度建模方法、安全隱私感知的移動App推薦方法等探索性工作。具體而

3、言，本文的主要研究貢獻總結(jié)如下:
　　第一，通過分析來自于用戶移動設(shè)備的豐富情境日志，提出了一種情境感知的移動用戶個性化偏好挖掘方法，從而幫助實現(xiàn)基于情境感知的個性化移動推薦系統(tǒng)。針對情境日志缺乏顯式評分、記錄稀疏、特征復(fù)雜等挑戰(zhàn)，設(shè)計了一種全新的基于多用戶數(shù)據(jù)的偏好挖掘框架。在此框架下，首先通過對多用戶情境數(shù)據(jù)的分析來挖掘移動用戶的公共偏好。然后，將單個用戶的個性化偏好表示為這些公共偏好上的概率分布。特別地，根據(jù)情境數(shù)據(jù)建模的需

4、要，提出了兩種不同的情境建模獨立性假設(shè)，并且分別根據(jù)這兩種假設(shè)設(shè)計了不同的方法來挖掘移動用戶的個性化偏好。具體來說，當情境數(shù)據(jù)被認為是相互條件獨立的，采用概率主題模型對情境數(shù)據(jù)和用戶行為進行建模;如果情境數(shù)據(jù)被認為是相互依賴的，則采用行為模式挖掘算法和貝葉斯非負矩陣分解的辦法來進行建模。最后，在一個真實世界的數(shù)據(jù)集上進行了實驗，實驗結(jié)果表明本文提出的方法相對于其他基準方法能夠更好地為移動用戶提供基于情境感知的個性化推薦。
　　第二

5、，通過擴展來自于Web和情境日志的輔助信息，提出了一種自動化的移動App分類方法，從而實現(xiàn)移動用戶的行為理解以及移動App的管理需求。針對移動App缺乏必要的上下文信息訓(xùn)練分類器這一難題，提出了一個全新的分類框架。該框架可以利用外部的輔助信息擴充移動App本身稀少的上下文信息，從而使得我們能夠?qū)σ苿覣pp進行有效的分類。具體來說，首先利用Web搜索引擎為移動App擴充必要的文本信息，并且基于此提出了多個有效的分類特征。其次，基于近年來在

6、情境信息領(lǐng)域的研究成果，提出使用真實世界的情境日志來為移動App擴充上下文信息，并設(shè)計了多個有效的基于情境感知的分類特征。隨后，將提取的各種特征整合到經(jīng)典的最大熵分類模型中來訓(xùn)練一個高效的移動App分類器。最后，在一個真實的移動App數(shù)據(jù)集上測試了提出的分類方法，實驗結(jié)果表明本文提出的方法相比其它基準方法能夠更加有效地對移動App進行分類。
　　第三，通過研究來自于在線移動App商店的長期商務(wù)數(shù)據(jù)，提出了一種面向移動App的排名欺

7、詐檢測方法，從而發(fā)現(xiàn)不良App開發(fā)商的惡意刷榜行為。具體而言，首先定義了面向移動App的排名欺詐問題，然后介紹和分析了解決這一問題所面臨的諸多技術(shù)挑戰(zhàn)，例如欺詐時間定位、欺詐自動化檢測、欺詐證據(jù)提取等等?；谏鲜鎏魬?zhàn)，開發(fā)了一個全自動化的移動App排名欺詐檢測系統(tǒng)。首先通過挖掘移動App在排行榜上的活躍周期來定位排名欺詐可能出現(xiàn)的時間段。然后通過對各個App在歷史中的排名記錄和用戶評分、評論記錄進行分析，提取出了三類共七種欺詐證據(jù)。進一

8、步，提出了一種全新的非監(jiān)督證據(jù)整合方法來實現(xiàn)最后的排名欺詐檢測。最后，使用Apple Appstore中超過兩年的App排行榜數(shù)據(jù)進行實驗，結(jié)果證明本文提出的方法能夠有效地檢測出移動App排名欺詐現(xiàn)象。
　　第四，通過整合來自于移動App的多種異構(gòu)流行度信息，提出了一種面向移動App的流行度建模方法，從而幫助實現(xiàn)多種移動智能服務(wù)。目前基于移動App流行度的相關(guān)研究十分離散，主要分散在移動推薦系統(tǒng)、移動App異常檢測等領(lǐng)域，缺乏一個

9、綜合的模型對相關(guān)信息和問題進行整合。針對這一挑戰(zhàn)，提出了一種基于隱馬爾科夫模型的擴展模型對App的排名、用戶評分、用戶評論等三種重要流行度信息進行綜合建模。同時，提出了一種基于二部圖聚類的模型參數(shù)估計方法，用以實現(xiàn)高效的模型訓(xùn)練。特別地，基于所提出的模型，展示了多種潛在的移動智能服務(wù)，比如基于趨勢的移動App推薦等等。最后，在兩個采集于Apple Appsotre的數(shù)據(jù)集中進行了豐富的實驗，實驗結(jié)果清晰地驗證了本文所提出建模方法的有效性

10、。
　　最后，通過挖掘來自于移動App的數(shù)據(jù)訪問權(quán)限和流行度信息，提出了一種安全隱私感知的移動App推薦方法，從而滿足移動用戶在安全隱私保護方面的需求，并促進移動App產(chǎn)業(yè)的健康發(fā)展。事實上，現(xiàn)有的移動App推薦系統(tǒng)僅僅考慮評分、下載量等流行度信息，而不考慮其潛在的安全隱私風(fēng)險，因此很難滿足移動用戶對于安全隱私保護的需求。針對這一問題，設(shè)計了一種全新的移動App推薦系統(tǒng)，用來為用戶推薦既流行又安全的移動App。首先，提出了一個擴展

11、性良好的移動App安全隱私風(fēng)險評估方法，這一方法可以自由整合各種關(guān)于安全隱私風(fēng)險的先驗信息，并且不需要任何的顯式函數(shù)定義。緊接著，根據(jù)經(jīng)濟學(xué)中的投資組合理論，提出了一種全新的優(yōu)化方法來實現(xiàn)移動App推薦時在流行度與用戶安全偏好上的折中。特別地，進一步設(shè)計了一個新穎的數(shù)據(jù)存儲結(jié)構(gòu)App哈希樹，用來實現(xiàn)海量移動App在不同類別和安全級別下的快速推薦和管理。最后，在一個采集自Google Play的大規(guī)模數(shù)據(jù)集上進行了實驗，實驗結(jié)果充分地驗證