中文信息過(guò)濾技術(shù)的研究與應(yīng)用.pdf

1、Internet的迅速發(fā)展在給人們的生活帶來(lái)極大方便的同時(shí)，也帶來(lái)了諸如“信息過(guò)載”“信息迷向”等問(wèn)題，信息過(guò)濾技術(shù)應(yīng)運(yùn)而生。信息過(guò)濾就是根據(jù)用戶的信息需求，在動(dòng)態(tài)的信息流中搜索用戶感興趣的信息，屏蔽其它無(wú)用和不良的信息。 本文首先介紹了信息過(guò)濾技術(shù)的提出背景、發(fā)展歷史、研究現(xiàn)狀和應(yīng)用價(jià)值，隨后綜述了信息過(guò)濾的特點(diǎn)、模型，信息過(guò)濾系統(tǒng)的體系結(jié)構(gòu)、分類、實(shí)現(xiàn)技術(shù)和評(píng)估方法。 文本是當(dāng)前Internet上信息最主要的表現(xiàn)形式

2、，中文文本過(guò)濾的相關(guān)技術(shù)是本文的研究重點(diǎn)。本文在對(duì)信息過(guò)濾系統(tǒng)的體系結(jié)構(gòu)和文本過(guò)濾的原型研究的基礎(chǔ)上，給出了一個(gè)基于向量空間模型的中文文本過(guò)濾的邏輯模型。 中文文本的特征項(xiàng)抽取和表示是中文文本過(guò)濾基礎(chǔ)。獲取中文文本的表示需要經(jīng)過(guò)分詞、停用詞處理、特征項(xiàng)抽取和特征項(xiàng)權(quán)重計(jì)算等過(guò)程，本文對(duì)這幾個(gè)過(guò)程進(jìn)行了詳細(xì)的研究并提出了一種基于位置加權(quán)的特征項(xiàng)權(quán)重計(jì)算方法。 用戶信息需求是文本過(guò)濾的依據(jù)，本文探討了獲取用戶信息需求的方式和

3、方法，給出了向量空間模型下用戶模板的表示方法，并對(duì)采用相關(guān)反饋技術(shù)進(jìn)行用戶模板的優(yōu)化和更新策略進(jìn)行了討論。 針對(duì)中文文本層次結(jié)構(gòu)的特點(diǎn)，本文提出了一種基于N層向量空間模型中文文本過(guò)濾方法，實(shí)驗(yàn)表明該方法比傳統(tǒng)向量空間法具有更好的過(guò)濾性能。 在文本過(guò)濾中，查全率和查準(zhǔn)率是一對(duì)矛盾。本文在引入了用戶主題不相關(guān)配置文件和不相關(guān)閾值的基礎(chǔ)上提出了一種兩重過(guò)濾方法，并以此方法為基礎(chǔ)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于N層向量空間模型的文本過(guò)濾系統(tǒng)