機械領(lǐng)域文本采集和分類的研究與設(shè)計.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展,各行業(yè)信息化程度不斷提高,越來越多的信息積累在網(wǎng)絡(luò)上，如何在浩瀚的信息中尋找到有用的信息,一直是領(lǐng)域研究的熱點。本文的研究背景是陜西省教育廳專項科研項目“面向特定領(lǐng)域需求的概念設(shè)計方案自動生成方法研究”。課題選擇機械領(lǐng)域為研究目標,探索如何從海量信息中搜索有用的行業(yè)信息,并將結(jié)果做進一步分類,滿足機械行業(yè)對知識的需求。
　　本文的研究重點為兩個方面:主題爬蟲和文本分類。主題爬蟲研究的是第一次信息抽取過程,將機

2、械領(lǐng)域文本信息從互聯(lián)網(wǎng)信息中抽取出來,完成第一次的兩分類過程。文本分類將主題爬蟲抽取的信息作進一步處理,按照領(lǐng)域?qū)＜液蛯嶋H項目的需求,將機械領(lǐng)域的信息細分到十個子領(lǐng)域中,完成第二次的多分類過程。論文主要完成了以下工作:
　　(1)根據(jù)機械領(lǐng)域?qū)＜业闹笇?dǎo),完成了機械領(lǐng)域?qū)I(yè)詞庫的搭建,收錄機械領(lǐng)域十個產(chǎn)品分類專業(yè)詞匯共2萬個,為后續(xù)爬蟲主題描述、網(wǎng)頁相關(guān)度計算、中文分詞、文本描述和文本分類工作做好基礎(chǔ)工作。
　　(2)設(shè)計了機

3、械領(lǐng)域主題爬蟲,通過主題描述,選擇適當?shù)呐佬胁呗灾笇?dǎo)爬蟲爬行工作,通過相關(guān)度計算,抽出合適的文本信息下載到頁面庫,爬蟲完成第一次分類過程,頁面庫中的文本信息為機械領(lǐng)域文本信息。
　　(3)依據(jù)樸素貝葉斯原理設(shè)計分類器,實現(xiàn)機械領(lǐng)域文本的二次分類,經(jīng)實驗驗證,分類效果不理想,進而分析造成分類準確度不高的原因。
　　(4)根據(jù)原因提出改進方法,通過引入灰色關(guān)聯(lián)度計算和改進權(quán)值計算方法,設(shè)計出改進后的貝葉斯文本分類器,實驗驗證分類