網(wǎng)上新聞自動分類系統(tǒng)智能化的研究.pdf

1、現(xiàn)代信息爆炸般地產(chǎn)生，信息如海如潮。信息分類，不僅有利于加快信息檢索速度，而且有利于提高查準率。Internet是信息的重要載體，深入地研究與探討網(wǎng)上信息自動分類的方法、技術(shù)和理論，已成為時代的迫切需求和新的研究熱點?？v觀國內(nèi)外已經(jīng)報道過的自動分類系統(tǒng)，我們發(fā)現(xiàn)很多系統(tǒng)都不能跟上網(wǎng)絡時代信息知識更新速度，這使得這些分類系統(tǒng)難以實用，或者使用效果差強人意。作者根據(jù)當前網(wǎng)上信息的特點，對網(wǎng)絡新聞自動分類技術(shù)進行了研究，并參照以往自動分類系統(tǒng)

2、的開發(fā)經(jīng)驗與教訓，和師兄一起，在導師的指導下設(shè)計和開發(fā)了一個嶄新的網(wǎng)絡新聞智能分類系統(tǒng)。我們根據(jù)香港中國資訊行（China Infobank）的需求，使用了100,000篇樣本語料，成功地構(gòu)建了具有開放性的分類知識庫系統(tǒng)。該系統(tǒng)采用了便于學習的分類算法，使得分類系統(tǒng)可以通過進行不斷地學習，來更新分類知識，從而解決了分類知識匱乏、陳舊的問題，系統(tǒng)知識庫中的知識可以保持最新。在設(shè)計該系統(tǒng)的時候，我們還考慮了系統(tǒng)的兼容性與可擴展性，使之經(jīng)過簡

3、單修改，即可適用于不同的分類體系。 在論文階段，我的貢獻主要有以下幾點： 第一，與師兄一起，按照導師的仿人思想，采用仿人的方法，設(shè)計了一個高性能的智能自動分類系統(tǒng)。仿人的方法，就是綜合國內(nèi)外一切已有的具有實效的分類方法，根據(jù)被分類對象的特點而靈活使用之的方法。這也是我們實驗室設(shè)計智能系統(tǒng)屢試不爽的方法。香港中國資訊行（China Infobank）總裁王稼夫用1000篇網(wǎng)上新聞對該系統(tǒng)進行評測，結(jié)論是：不可用的分類僅有3

4、％—4％，只要按照要求稍加改進，即可投入使用。 第二，根據(jù)導師的思想，對傳統(tǒng)的KNN算法進行了改進，成功的研發(fā)出了K值隨樣本改變的分類算法。新算法可以根據(jù)待分類文本與知識庫中樣本的特點來動態(tài)的決定K值，使分類效果有明顯提高。 第三，根據(jù)仿人的思想，研究并實現(xiàn)了分類系統(tǒng)的自學習功能。有了自學習功能，分類系統(tǒng)就可以在實際應用中不斷學習新的知識，更新分類知識庫，使得分類系統(tǒng)能夠跟上網(wǎng)絡時代信息知識更新的速度，從而變得更加實用。