文本多特征表達(dá)研究及在網(wǎng)絡(luò)內(nèi)容安全中的應(yīng)用.pdf

1、作者所研究的信息過(guò)濾系統(tǒng)是專門(mén)針對(duì)色情、反動(dòng)等不良信息的過(guò)濾,是信息過(guò)濾的一種特殊應(yīng)用,是網(wǎng)絡(luò)內(nèi)容安全的研究課題之一.圍繞著網(wǎng)絡(luò)不良文本的信息過(guò)濾,作者在文本特征抽取以及文本多特征描述方面深入展開(kāi)了自己的工作:第一、提出了"負(fù)過(guò)濾"的概念.所謂"負(fù)過(guò)濾",即被過(guò)濾出的、并非要提交給用戶的信息,這與"正過(guò)濾"(被過(guò)濾出的即要提交用戶的)恰好相對(duì).典型的"負(fù)過(guò)濾"應(yīng)用有:垃圾郵件過(guò)濾,色情信息過(guò)濾,聊天室過(guò)濾等.如果說(shuō)正過(guò)濾系統(tǒng)目前的研究焦

2、點(diǎn)大都在于用戶興趣的表達(dá)和如何跟蹤用戶的興趣遷移,那么負(fù)過(guò)濾系統(tǒng)的研究則主要應(yīng)該集中在提高過(guò)濾精度和速度上.第二、作者在考察了現(xiàn)有漢語(yǔ)抽詞分詞算法后,針對(duì)基于實(shí)例的信息過(guò)濾系統(tǒng)設(shè)計(jì)了位置記憶跳躍匹配算法(PRJM),使用該算法在漢語(yǔ)文本中抽取重復(fù)字串,并從中生成過(guò)濾類別特征詞典.與同類算法相比,該算法在速度、性能上都有了很大的提高,能很好的滿足信息處理的實(shí)時(shí)性要求.第三、主題是文本內(nèi)容的體現(xiàn).目前的文本主題抽取算法大都存在著限定領(lǐng)域的問(wèn)

3、題,無(wú)法適應(yīng)網(wǎng)絡(luò)多種多樣的文本處理需要.基于此,作者提出的基于同現(xiàn)頻率和文本上下文的主題抽取算法(SECC)是一種較好的適應(yīng)各類文本的主題抽取算法.在語(yǔ)料庫(kù)多種文體類型文本的主題抽取試驗(yàn)中,該算法得到了不錯(cuò)的抽取結(jié)果.第四、寫(xiě)作時(shí)作者會(huì)針對(duì)不同的場(chǎng)合、不同交流功能、不同的讀者采用不同的文體.正確識(shí)別文章的文體能有助于更準(zhǔn)確的建立用戶檢索描述和文本描述,以便更好地滿足用戶的信息檢索需求.但文體類型種類相當(dāng)多,并且隨著時(shí)代的發(fā)展,文體類型也