LSMQ：基于LSM-Tree的持久消息隊(duì)列系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、分布式應(yīng)用程序?yàn)榱私档湍K相互之間的耦合程度以及更好的應(yīng)對可擴(kuò)展、可操作性的要求，通常引入消息隊(duì)列來降低模塊之間的耦合和平衡各模塊處理能力，消息隊(duì)列允許分布式系統(tǒng)模塊之間在保證遵守同樣接口約束的前提下，獨(dú)立的擴(kuò)展和修改各自的處理過程。各模塊對數(shù)據(jù)的處理能力不同，持久化消息隊(duì)列能保證消息持久化到他們已經(jīng)完全處理好，從而避免了數(shù)據(jù)丟失。消息隊(duì)列解耦了處理過程，所以系統(tǒng)擴(kuò)容時(shí)，各模塊只需獨(dú)立增加各自的處理能力即可，大大增強(qiáng)了分布式系統(tǒng)的可擴(kuò)展

2、性。
　　在充分調(diào)研現(xiàn)有消息隊(duì)列的基礎(chǔ)上，發(fā)現(xiàn)現(xiàn)有的消息隊(duì)列系統(tǒng)存在消息無法持久化、消息持久化和高吞吐量之間無法兼顧、單機(jī)容量有限等問題。LSM-Tree（Log-Structured Merge tree）是一個(gè)為了提高B-樹在更新插入數(shù)據(jù)時(shí)的性能而提出來的優(yōu)秀算法，思想來源于日志文件系統(tǒng)，主要優(yōu)點(diǎn)是在不犧牲查找效率的前提下，大幅度提升隨機(jī)寫、隨機(jī)更新、刪除效率。在研究了現(xiàn)有的幾種消息隊(duì)列的基礎(chǔ)上，通過引入LSM-Tree結(jié)構(gòu)，

3、設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)高吞吐量、消息堆積能力強(qiáng)的持久化消息隊(duì)列LSMQ。結(jié)果顯示，在單機(jī)容量、讀寫吞吐量方面，LSMQ表現(xiàn)均達(dá)到預(yù)期。
　　測試結(jié)果表明，LSMQ讀性能達(dá)到了12000條消息/秒，寫性能達(dá)到了15000條消息/秒，略低于內(nèi)存隊(duì)列Redis，遠(yuǎn)遠(yuǎn)高于基于B+樹的持久化消息隊(duì)列ActiveMQ。在消息堆積能力方面，由于LSMQ輕量級的內(nèi)存結(jié)構(gòu)設(shè)計(jì)和基于磁盤的存儲(chǔ)結(jié)構(gòu)， LSMQ可以在低內(nèi)存占用的情況下，達(dá)到充分利用磁盤存儲(chǔ)消