基于Elastic Search的分布式日志搜索系統(tǒng)設(shè)計.pdf

1、隨著云存儲、云計算技術(shù)的快速發(fā)展，數(shù)據(jù)的存儲、索引、搜索已經(jīng)成為互聯(lián)網(wǎng)數(shù)據(jù)管理中心的一個重要技術(shù)瓶頸，這是因為現(xiàn)行互聯(lián)網(wǎng)數(shù)據(jù)都是海量的，而基于ACID理論的關(guān)系數(shù)據(jù)庫很難滿足現(xiàn)行數(shù)據(jù)管理的需求。根據(jù)CAP理論，一個分布式系統(tǒng)不可能同時滿足一致性(Consistency)，可用性(Availability)和分區(qū)容忍性(Partition Tolerance)這三個需求，而基于高一致性和可用性的關(guān)系數(shù)據(jù)庫難以在架構(gòu)及部署上進(jìn)行橫向或者縱向

2、的切分，也就失去了充分利用并行和分布式系統(tǒng)擴展性能的可能。
　　本論文在研究現(xiàn)有流行的搜索系統(tǒng)的設(shè)計原理、應(yīng)用環(huán)境及應(yīng)用案例的基礎(chǔ)上，結(jié)合海量日志數(shù)據(jù)的特點，提出基于Elastic Search的分布式日志搜索系統(tǒng)的架構(gòu)方案、設(shè)計方案、部署策略。根據(jù)日志系統(tǒng)搜索的特點，一方面絕大部分檢索都是基于主鍵的查詢;另一方面，日志數(shù)據(jù)在管理上并不需要保證強一致性，而只需要保證最終一致性。因此本系統(tǒng)采用分布式存儲策略，對數(shù)據(jù)進(jìn)行分級索引和緩存