面向大數(shù)據(jù)的基于top-k的服務(wù)排序優(yōu)化方法研究.pdf

1、ResearchontopkbasedServiceRankingOptimizationforBigDataEnvironmentsThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByXuYuSupervisor：ProfWangHaiyanMay2016摘要隨著互聯(lián)網(wǎng)用戶數(shù)據(jù)量逐年猛增，儲(chǔ)存于

2、網(wǎng)絡(luò)中的信息也以驚人的速度不斷增長。如何在海量信息中，為用戶快速準(zhǔn)確地提供所需服務(wù)成為了新的挑戰(zhàn)。topk技術(shù)在用戶服務(wù)篩選和信息檢索中起到了重要作用。然而已有的topk算法主要集中在單線程中解決topk服務(wù)排序或者存在對(duì)并發(fā)控制不足，在面對(duì)海量數(shù)據(jù)處理時(shí)，往往會(huì)引發(fā)嚴(yán)重內(nèi)存滯留。為解決以上問題，需要在topk查詢過程中進(jìn)行數(shù)據(jù)預(yù)處理和完善服務(wù)排序算法。本文的主要工作如下：(1)根據(jù)MapReduce數(shù)據(jù)并行處理的工作原理，提出Core

3、C算法，利用標(biāo)記本地緩存的子線程，來降低MapReduce工作過程中重復(fù)開啟線程的數(shù)量。此外，本文以topk查詢特點(diǎn)作為基礎(chǔ)展開研究，使用針對(duì)非確定性數(shù)據(jù)集查詢的方法處理非topk集合元素的剪枝操作。(2)提出一種基于分布式數(shù)據(jù)模型的數(shù)據(jù)劃分和基于多目標(biāo)的非支配topk排序算法：計(jì)算單位服務(wù)器所需要分?jǐn)偟臄?shù)據(jù)量，并且通過非支配排序方法將單位服務(wù)器計(jì)算得到的k個(gè)結(jié)果置于內(nèi)存中，最終通過中央服務(wù)器從中計(jì)算出符合的k個(gè)結(jié)果再返回給用戶。(3)