多核環(huán)境下分布式緩存并發(fā)訪(fǎng)問(wèn)處理研究.pdf

1、隨著互聯(lián)網(wǎng)應(yīng)用的飛速發(fā)展，分布式緩存作為服務(wù)器端緩解數(shù)據(jù)庫(kù)訪(fǎng)問(wèn)壓力的關(guān)鍵組件，越來(lái)越起著不可替代的作用。然而隨著多核處理器的廣泛使用，傳統(tǒng)的分布式緩存在多核環(huán)境下面臨大量用戶(hù)并發(fā)訪(fǎng)問(wèn)時(shí)存在多線(xiàn)程鎖競(jìng)爭(zhēng)、緩存一致性開(kāi)銷(xiāo)、高并發(fā)連接處理等問(wèn)題，這些問(wèn)題嚴(yán)重制約了分布式緩存在多核環(huán)境下的擴(kuò)展性，導(dǎo)致多核的并行計(jì)算能力不能充分地發(fā)揮出來(lái)。
　　多核環(huán)境下分布式緩存系統(tǒng)SKVM旨在消除分布式緩存在多核環(huán)境下面臨大量用戶(hù)并發(fā)訪(fǎng)問(wèn)時(shí)存在的問(wèn)題，

2、提高分布式緩存的并發(fā)訪(fǎng)問(wèn)性能，進(jìn)而實(shí)現(xiàn)分布式緩存在多核環(huán)境下的性能擴(kuò)展。SKVM將高并發(fā)訪(fǎng)問(wèn)處理分為兩個(gè)階段：高并發(fā)連接處理和高并發(fā)數(shù)據(jù)處理，針對(duì)高并發(fā)連接處理，采用epoll異步非阻塞機(jī)制提高網(wǎng)絡(luò)I/O的效率，消除網(wǎng)絡(luò)瓶頸；針對(duì)高并發(fā)數(shù)據(jù)處理，采用共享資源分布式計(jì)算的思想，將共享哈希表按照核心數(shù)目劃分成多個(gè)劃分，每個(gè)劃分都有專(zhuān)門(mén)的服務(wù)線(xiàn)程負(fù)責(zé)其上所有操作，服務(wù)線(xiàn)程訪(fǎng)問(wèn)各自的劃分時(shí)不用任何同步操作也不會(huì)涉及到其它服務(wù)線(xiàn)程，從而消除了鎖競(jìng)

3、爭(zhēng)，減少了緩存一致性開(kāi)銷(xiāo)。采用一致性哈希算法作為數(shù)據(jù)分布策略，提高了系統(tǒng)的可用性和負(fù)載均衡能力，同時(shí)系統(tǒng)整體采用半同步半異步模式工作，既保證了并發(fā)連接處理的實(shí)時(shí)性，又實(shí)現(xiàn)了并發(fā)數(shù)據(jù)處理的高效性。
　　與廣泛使用的分布式緩存Memcached進(jìn)行性能對(duì)比測(cè)試的結(jié)果表明，SKVM每次請(qǐng)求比 Memcached經(jīng)歷更少的緩存未命中，并且 SKVM的吞吐量要優(yōu)于Memcached，同時(shí)，在多核環(huán)境下，Memcached的吞吐量隨著并發(fā)線(xiàn)程