基于GPU的索引構(gòu)建方法研究.pdf

1、隨著互聯(lián)網(wǎng)飛速的發(fā)展,網(wǎng)絡(luò)信息量不斷增加,為提高實時檢索的效率,需要一種快速的索引方法。就搜索引擎而言,對大規(guī)模文本構(gòu)建索引涉及較大的數(shù)據(jù)量和計算量,會消耗大量計算資源,如何實現(xiàn)海量文本數(shù)據(jù)高性能索引,是搜索應(yīng)用中不可或缺的議題。
　　為提高索引構(gòu)建的性能,采用了GPU協(xié)作計算的模式,利用GPU高效并行計算能力來解決密集計算的問題。為充分利用CPU和GPU的計算優(yōu)勢,分析了索引構(gòu)建的機制,提出了一種加速索引構(gòu)建的CPU、GPU的任

2、務(wù)協(xié)作模型,分解文本索引各個過程,將文本解析、詞條索引等可并行化任務(wù)交給GPU完成,而讀寫文件、索引合并等任務(wù)則由 CPU串行完成。為提高多線程并行計算的效率,根據(jù) GPU內(nèi)存結(jié)構(gòu)特點,設(shè)計了基于哈希表的并行索引結(jié)構(gòu),對每個詞條增加了線程獨立的頻率統(tǒng)計區(qū),在構(gòu)建索引時,索引詞條按不同的索引結(jié)構(gòu)進行分類管理,以減少內(nèi)存開銷。根據(jù)詞條類型的不同,設(shè)計了基于哈希表的立即索引的并行算法,和基于合并的并行索引算法,包括并行詞頻統(tǒng)計和索引轉(zhuǎn)換的方案