電子商務(wù)海量數(shù)據(jù)的獲取、存儲(chǔ)及檢索.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展,電子商務(wù)在人們的生活中占據(jù)著越來越重要的地位。在電子商務(wù)的整個(gè)環(huán)節(jié)中,數(shù)據(jù)處于最為核心的位置,處理好數(shù)據(jù)之間的關(guān)系,直接影響著電子商務(wù)商城的穩(wěn)定性。
　　 本課題基于電子商務(wù)商城的建設(shè)過程,研究并實(shí)現(xiàn)了一系列數(shù)據(jù)處理的方法。首先,為了獲取商城需要展示的數(shù)據(jù),需要從多種途徑獲取數(shù)據(jù)源,合理的安排好數(shù)據(jù)處理任務(wù)之間的關(guān)系,可以保證數(shù)據(jù)的穩(wěn)定性以及時(shí)效性,課題經(jīng)過實(shí)踐完成了一套完整的數(shù)據(jù)任務(wù)分發(fā)機(jī)制以及數(shù)據(jù)運(yùn)行狀

2、態(tài)的監(jiān)控體系,在上百種任務(wù)并行運(yùn)行的情況下,可以保證服務(wù)器的正常運(yùn)行以及數(shù)據(jù)任務(wù)處理的穩(wěn)定,從而保證了數(shù)據(jù)的有效性。
　　 其次,在處理好數(shù)據(jù)獲取任務(wù)的基礎(chǔ)之上,需要針對(duì)海量的數(shù)據(jù)進(jìn)行存儲(chǔ)。海量數(shù)據(jù)的存儲(chǔ)需要解決可擴(kuò)展性的問題,即在不修改基礎(chǔ)結(jié)構(gòu)的前提下,快速的介入其他的商城的數(shù)據(jù);同時(shí)需要處理好過期數(shù)據(jù)刪除之后表空間利用的問題;最后存儲(chǔ)系統(tǒng)需要容納海量的數(shù)據(jù),隨著時(shí)間的延長(zhǎng),數(shù)據(jù)量急劇增加,數(shù)據(jù)存儲(chǔ)系統(tǒng)需要具備海量的存儲(chǔ)能力。

3、基于以上問題,本課題通過兩種存儲(chǔ)方式的實(shí)踐進(jìn)行總結(jié),完成了一套可擴(kuò)展性的存儲(chǔ)方案,在每天幾十G數(shù)據(jù)進(jìn)行更新的前提下,系統(tǒng)運(yùn)行穩(wěn)定并且擁有很好的普遍適用性。
　　 最后,在解決了數(shù)據(jù)的獲取以及數(shù)據(jù)的存儲(chǔ)之后,數(shù)據(jù)的檢索系統(tǒng)直接影響著用戶的體驗(yàn),檢索系統(tǒng)的優(yōu)劣直接影響著用戶的選擇。檢索系統(tǒng)需要解決檢索數(shù)據(jù)的有效性、準(zhǔn)確性以及檢索的效率。本課題通過sphinx檢索引擎的研究,結(jié)合數(shù)據(jù)庫(kù)共同實(shí)現(xiàn)平臺(tái)的檢索系統(tǒng),可以為用戶提供關(guān)鍵字以及屬