海量數(shù)據(jù)處理技術(shù)研究與應(yīng)用.pdf

1、論文主要是致力于海量數(shù)據(jù)處理技術(shù)的研究與應(yīng)用，涉及到相關(guān)的海量數(shù)據(jù)存儲(chǔ)、海量數(shù)據(jù)文件系統(tǒng)、海量數(shù)據(jù)檢索、海量數(shù)據(jù)運(yùn)算、數(shù)據(jù)可信度方法驗(yàn)證反饋等內(nèi)容。同時(shí)本論文深入地探討與研究了日前互聯(lián)網(wǎng)最為熱門(mén)及最具發(fā)展?jié)摿Φ腟NS網(wǎng)絡(luò)，比如社交網(wǎng)絡(luò)、微博等，并將相關(guān)的海量數(shù)據(jù)處理技術(shù)應(yīng)用到SNS網(wǎng)絡(luò)的熱門(mén)話(huà)題生成系統(tǒng)中。
　　 首先，論文對(duì)目前較流行的相關(guān)海量數(shù)據(jù)處理技術(shù)與關(guān)鍵算法進(jìn)行深入的探討與研究，涉及到Key-value分布式存儲(chǔ)的研究

2、，Google Bigtable數(shù)據(jù)模型的研究，Google GFS分布式系統(tǒng)原理的研究，Google MapReduce編程模型的深入研究，以及基于以上技術(shù)而實(shí)現(xiàn)的優(yōu)秀的開(kāi)源Hadoop海量數(shù)據(jù)處理系統(tǒng)框架的研究。
　　 其次，論文還提出了一種改進(jìn)的可信度方法模型，并通過(guò)嚴(yán)格的數(shù)學(xué)推理證明改進(jìn)算法的適用性、同步單調(diào)性及合理性。通過(guò)改進(jìn)的可信度分析方法，可以用來(lái)驗(yàn)證及計(jì)算海量數(shù)據(jù)處理結(jié)果可信度的定量值，并反饋于海量數(shù)據(jù)處理系統(tǒng)，

3、輔助其相關(guān)處理算法的改進(jìn)。改進(jìn)的可信度方法用于海量數(shù)據(jù)處理的驗(yàn)證過(guò)程中，一方面克服了傳統(tǒng)可信度方法的一些缺陷（比如在某些情況下出現(xiàn)CF值與條件概率值相矛盾的問(wèn)題）；另一方面，在海量數(shù)據(jù)處理的某些特定的應(yīng)用，其對(duì)于相關(guān)的算法調(diào)整有很好的反饋?zhàn)饔谩?br>　　 最后，論文還完成了一個(gè)基于海量數(shù)據(jù)處理的微博熱門(mén)話(huà)題生成系統(tǒng)。通過(guò)海量數(shù)據(jù)處理的相關(guān)技術(shù)，以及編寫(xiě)相關(guān)的MapReduce算法，對(duì)原始的海量微博博文數(shù)據(jù)進(jìn)行分布式處理，并對(duì)生成結(jié)果