基于機器學(xué)習(xí)的網(wǎng)站分級研究與實現(xiàn).pdf

1、互聯(lián)網(wǎng)中的不良信息長久以來一直存在，而且數(shù)量上呈現(xiàn)增長趨勢，其中以色情信息居多，還包含著賭博，傳銷等違法內(nèi)容。為此社會各界為整治互聯(lián)網(wǎng)環(huán)境獻計出力，國家也出臺了相應(yīng)的法律法規(guī)以規(guī)范網(wǎng)絡(luò)環(huán)境，但是不良信息卻屢禁不止，泛濫成災(zāi)。目前已經(jīng)有許多不良信息攔截系統(tǒng)以軟件或硬件的方式為我們的網(wǎng)絡(luò)環(huán)境更加美好出力，但是其中大多數(shù)系統(tǒng)都“各自為政”，重復(fù)建立自己的黑名單庫。本系統(tǒng)的目標(biāo)是通過主動檢測網(wǎng)站內(nèi)容，建立共享的不良信息數(shù)據(jù)庫，為攔截系統(tǒng)提供公共

2、數(shù)據(jù)支持。
　　本系統(tǒng)通過研究深度學(xué)習(xí)的圖像分類與文本分類算法，將新型算法運用到不良信息分類的任務(wù)中。深度學(xué)習(xí)算法較傳統(tǒng)知識工程或統(tǒng)計學(xué)方法需要手動提取特征的方法相比，深度學(xué)習(xí)具有自動學(xué)習(xí)特征提取的能力，在圖像識別方面具有更高的分類準(zhǔn)確度。在文本分類算法上提出新方法，將網(wǎng)頁長文本截取為短文本再分類，將分類結(jié)果匯總得到網(wǎng)頁文本的色情比例，并且根據(jù)服務(wù)人群不同調(diào)節(jié)色情比例閾值以滿足不同人群的過濾需求。在圖像分類算法上，深度卷積模型最為

3、有效，并且深度卷積模型在近幾年的發(fā)展中，又有了長足進步，并發(fā)展出幾種類型的模型，如直線型、局部雙分支型和局部多分支型。本文通過研究不同類型模型在不良圖片分類任務(wù)上的表現(xiàn)，并采用微調(diào)的方式去訓(xùn)練多種深度卷積模型，最終根據(jù)模型的計算量消耗與模型的準(zhǔn)確率選擇最合適的圖像分類算法。系統(tǒng)設(shè)計充分考慮了系統(tǒng)擴展性與移植性，并且可利用老舊或閑散設(shè)備作為系統(tǒng)工作節(jié)點，節(jié)省項目資金。
　　本系統(tǒng)主要包括五個部分，網(wǎng)絡(luò)爬蟲模塊、文本分類模塊、圖片分類