基于BBS文本信息的中文自動(dòng)分詞系統(tǒng)的研究.pdf

1、隨著Internet技術(shù)的發(fā)展，各種網(wǎng)絡(luò)應(yīng)用服務(wù)越來(lái)越多，BBS(Bullet inBoards System)的開(kāi)設(shè)為廣大網(wǎng)絡(luò)用戶開(kāi)辟了自由發(fā)表言論的空間，但一些不健康的、反動(dòng)的言論也給我們的社會(huì)和國(guó)家?guī)?lái)了負(fù)面影響。如何準(zhǔn)確的從大量用戶言論中有效的清除不文明及反動(dòng)言論成為當(dāng)前網(wǎng)絡(luò)管理人員越來(lái)越關(guān)心的問(wèn)題。傳統(tǒng)的BBS管理方法隨著所擁有信息量的急劇增大，不但顯得滯后且效率低下，已很難適應(yīng)時(shí)代的發(fā)展。數(shù)據(jù)挖掘正是為了解決傳統(tǒng)分析方法的不

2、足，針對(duì)大規(guī)模數(shù)據(jù)的分析處理而出現(xiàn)的。因此，如何應(yīng)用數(shù)據(jù)挖掘技術(shù)來(lái)有效、快速地實(shí)現(xiàn)BBS的安全管理工作就成為各網(wǎng)站越來(lái)越關(guān)注的熱點(diǎn)。 目前針對(duì)BBS文檔的鑒別與過(guò)濾還不成熟。由于BBS的特殊性，用于普通Web文檔和電子郵件的鑒別技術(shù)在用于鑒別BBS文檔時(shí)效果并不理想。研究對(duì)BBS文本內(nèi)容進(jìn)行數(shù)據(jù)挖掘，發(fā)現(xiàn)并自動(dòng)刪除不健康及反動(dòng)言論，對(duì)網(wǎng)絡(luò)管理有著非常重要的現(xiàn)實(shí)意義。在處理大量文檔時(shí)，需要從大量文檔數(shù)據(jù)中分析和提取有用信息，需要

3、相關(guān)的工具完成不同文檔的比較，以及文檔重要性和相關(guān)性的排列，或找出多文檔的模式或趨勢(shì)。因此，文本挖掘就成為數(shù)據(jù)挖掘中一個(gè)日益流行而重要的研究課題。 文本挖掘即文本數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)，它是數(shù)據(jù)挖掘的一個(gè)分支。文本挖掘作為從浩瀚的文本數(shù)據(jù)中發(fā)現(xiàn)潛在的有價(jià)值知識(shí)的一種有效技術(shù)，已經(jīng)成為近年來(lái)的研究熱點(diǎn)?；贐BS的文本挖掘就是從BBS的內(nèi)容或其描述中提取所需信息的過(guò)程，它在BBS的管理中扮演著越來(lái)越重要的角色。 對(duì)中文文本進(jìn)行

4、分析的一個(gè)前提條件是對(duì)中文文本進(jìn)行分詞處理，中文分詞是中文信息處理領(lǐng)域中的基礎(chǔ)課題，也是一個(gè)難點(diǎn)問(wèn)題。由于中文文本是按句連寫的，詞間無(wú)間隙，按句連寫轉(zhuǎn)換成按詞連寫，詞的正確切分是進(jìn)行中文文本處理的必要條件，它是一切工作的基礎(chǔ)。本文的主要工作就是設(shè)計(jì)和實(shí)現(xiàn)一種快速分詞算法，將BBS用戶提交給服務(wù)器準(zhǔn)備發(fā)送的內(nèi)容截獲并保存在文本文件中，并對(duì)這些文本文件進(jìn)行分詞處理，為下一步的文本分類及實(shí)現(xiàn)文本挖掘的要求和BBS的安全管理打下基礎(chǔ)。