話題檢測研究.pdf

1、話題檢測旨在從海量的新聞報道中識別出未知的話題及已知話題的相關(guān)報道。絕大多數(shù)檢測算法都是基于聚類算法進行的，用向量空間模型描述新聞報道和話題，計算其相似度，并按照某種策略對其進行聚類。 編碼索引指利用索引算法對關(guān)鍵詞進行快速編碼轉(zhuǎn)換的方法。單值索引指關(guān)鍵詞和索引項一一對應(yīng)的簡單索引，檢索速率較高的單值索引有順序數(shù)組索引、樹型索引和哈希索引等。 本文提出并實現(xiàn)了用于優(yōu)化話題檢測的三種編碼索引算法：準(zhǔn)動態(tài)數(shù)組索引算法、哈希桶

2、內(nèi)鏈索引算法和雙鏈聚合哈希索引算法。 準(zhǔn)動態(tài)數(shù)組索引算法利用了順序數(shù)組索引的高檢索速率，及B樹索引的高更新速率，利用準(zhǔn)動態(tài)思想，周期性的將B樹更新索引并入主索引表，解決了順序數(shù)組索引更新效率低下的問題。 哈希桶內(nèi)鏈索引算法在哈希桶內(nèi)部元素建鏈以實現(xiàn)鏈地址哈希索引，避免了頻繁的內(nèi)存分配，且采用了桶號加桶項號的指針表示方法，將指針壓縮到3字節(jié)。 雙鏈聚合哈希索引算法在聚合哈希索引的基礎(chǔ)上雙向建鏈并維護空表項鏈，實現(xiàn)了