模糊遺傳算法及其在網(wǎng)絡(luò)信息過(guò)濾系統(tǒng)中的應(yīng)用研究.pdf

1、隨著網(wǎng)絡(luò)信息數(shù)量在互聯(lián)網(wǎng)上日益龐大，對(duì)于網(wǎng)絡(luò)信息質(zhì)量的要求也越來(lái)越高，越來(lái)越多探索網(wǎng)絡(luò)信息過(guò)濾的新技術(shù)正在逐步的發(fā)展中，由于網(wǎng)絡(luò)信息動(dòng)態(tài)性極強(qiáng)，而這些動(dòng)態(tài)性主要表現(xiàn)在網(wǎng)頁(yè)內(nèi)容的增減和鏈接地址的動(dòng)態(tài)變化上，因此網(wǎng)絡(luò)信息內(nèi)容過(guò)濾主要針對(duì)網(wǎng)頁(yè)上的動(dòng)態(tài)信息流，在處理大量的冗余信息數(shù)據(jù)時(shí)，還要滿(mǎn)足用戶(hù)對(duì)動(dòng)態(tài)信息的需求量，過(guò)濾用戶(hù)不感興趣的信息，網(wǎng)絡(luò)信息過(guò)濾系統(tǒng)就是從動(dòng)態(tài)的數(shù)據(jù)流中收集或去掉某些文本信息。開(kāi)發(fā)出一種網(wǎng)絡(luò)信息過(guò)濾系統(tǒng)其目的主要在于過(guò)濾

2、網(wǎng)絡(luò)上的不良信息，這是其過(guò)濾系統(tǒng)的主要功能，過(guò)濾內(nèi)容主要體現(xiàn)在色情、暴力、犯罪等不良信息。
　　在本課題中，根據(jù)基于傳統(tǒng)遺傳算法的網(wǎng)絡(luò)信息過(guò)濾系統(tǒng)中提出了一種新的算法，即模糊遺傳算法。模糊遺傳算法是根據(jù)網(wǎng)絡(luò)信息過(guò)濾系統(tǒng)中存在的不確定因素，包括參數(shù)，權(quán)重等因素的調(diào)整，在傳統(tǒng)遺傳算法優(yōu)化的基礎(chǔ)上，分析文檔訓(xùn)練集的特點(diǎn)，提高文本分類(lèi)的性能，加入模糊方法調(diào)整參數(shù)值和權(quán)重，使得這些因素能夠隨著系統(tǒng)環(huán)境的變化而變化，模糊遺傳算法研究理論具體體

3、現(xiàn)在以下四個(gè)方面:
　　1、充分分析網(wǎng)絡(luò)信息過(guò)濾模型
　　網(wǎng)絡(luò)信息過(guò)濾系統(tǒng)結(jié)構(gòu)主要體現(xiàn)在數(shù)據(jù)包捕獲、特征選擇、優(yōu)化算法、分類(lèi)算法上，對(duì)該系統(tǒng)每一部分的關(guān)鍵技術(shù)進(jìn)行理論分析，分析其優(yōu)缺點(diǎn)，提出改進(jìn)方法，充分提高網(wǎng)絡(luò)信息過(guò)濾效果。
　　2、文檔訓(xùn)練集處理技術(shù)
　　在以往對(duì)文檔集的處理上，通常是將語(yǔ)料中的訓(xùn)練文本平等對(duì)待，沒(méi)有考慮到各個(gè)文本所起的不同作用，為改進(jìn)這些缺陷，在本課題中，將重點(diǎn)考慮訓(xùn)練文本對(duì)于分類(lèi)所起的不同

4、作用，根據(jù)文檔重要性將文本區(qū)別對(duì)待。對(duì)于訓(xùn)練文檔的處理主要體現(xiàn)在劃分文本段落和設(shè)置文檔權(quán)重。文本段落的劃分主要包括將文本分為首段、中間段、尾段，及其不同段落的結(jié)合，針對(duì)每一部分段落在文本中所起的作用不同，選出重要的段落參與訓(xùn)練。由實(shí)驗(yàn)得出將首尾段結(jié)合在一起要比單獨(dú)的段落分類(lèi)效果要好。利用段落訓(xùn)練來(lái)代替整篇文本的訓(xùn)練，這不僅大大減輕了時(shí)間復(fù)雜度，而且也減輕了系統(tǒng)負(fù)擔(dān)，提高了系統(tǒng)運(yùn)行效率。
　　在大規(guī)模的語(yǔ)料文檔中，每部分文檔所含的內(nèi)

5、容不同，在分類(lèi)中所起的作用也是不同的，即將其稱(chēng)為文檔的重要性，在本課題研究工作之一就是文檔的重要程度，即文檔權(quán)重，利用模糊計(jì)算方法應(yīng)用到本系統(tǒng)中，根據(jù)不同的類(lèi)別語(yǔ)料文本結(jié)合分類(lèi)效果模糊調(diào)整文檔權(quán)值，以使其重要的文檔能夠得到充分的應(yīng)用，進(jìn)一步提高訓(xùn)練語(yǔ)料文檔的質(zhì)量。
　　3、遺傳算法參數(shù)調(diào)整
　　遺傳算法中涉及到的參數(shù)主要包括種群大小，選擇概率、交叉概率及變異概率的設(shè)定，進(jìn)化代數(shù)的設(shè)定等。這些參數(shù)對(duì)遺傳優(yōu)化的質(zhì)量有很大的影響，

6、而在以往的遺傳算法參數(shù)設(shè)置上都是預(yù)先設(shè)置的固定值，這些值不能隨著遺傳環(huán)境的改變而改變，因此，為改進(jìn)這些參數(shù)，在本課題中利用模糊調(diào)整方法合理設(shè)置這些參數(shù)值，主要體現(xiàn)在對(duì)交叉率和變異率根據(jù)遺傳搜索的不同環(huán)境下做出不同的調(diào)整，使其在遺傳算法優(yōu)化階段得到很好的利用，使遺傳算法優(yōu)化取得最優(yōu)解。
　　4、模糊調(diào)整特征項(xiàng)權(quán)重
　　文本特征項(xiàng)利用特征選擇方法計(jì)算其相應(yīng)權(quán)值，利用遺傳算法優(yōu)化訓(xùn)練特征項(xiàng)，選出最有意義的特征項(xiàng)，由于權(quán)值結(jié)果在很大