基于大規(guī)模類別體系的網(wǎng)頁分類及在商品分類中的應(yīng)用研究.pdf

1、近年來，隨著互聯(lián)網(wǎng)信息技術(shù)的廣泛應(yīng)用，電子文本不斷地快速累積，數(shù)量大到難以對它們進(jìn)行有效地管理與利用。因此，管理信息系統(tǒng)中對文本分類自動化的需求也就越來越迫切。如何利用自動化的技術(shù)快速有效地協(xié)助人們對文本文件、網(wǎng)頁數(shù)據(jù)等進(jìn)行分類已經(jīng)成均當(dāng)前信息服務(wù)與知識管理方面的重要課題。
　　 自動分類可以減少人工勞動的工作量，在實(shí)際應(yīng)用中至少可以節(jié)省一半以上的人力。對用戶而言，自動分類的結(jié)果可以視為一種分類提示，這對于減輕人工分析文本、人工

2、文本歸類方面的工作有相當(dāng)大的幫助。本文從商品網(wǎng)頁角度切入，主要針對互聯(lián)網(wǎng)商品數(shù)據(jù)信息管理領(lǐng)域做了以下幾個(gè)方面的工作：
　　 1、基于大規(guī)模類別體系的數(shù)據(jù)采集工作。網(wǎng)絡(luò)中的數(shù)據(jù)量龐大且數(shù)據(jù)分布相對分散，大部分的網(wǎng)頁都沒有經(jīng)過標(biāo)注，特定領(lǐng)域的信息也不易獲取，這就使得在大規(guī)模類別體系下，網(wǎng)頁分類算法實(shí)驗(yàn)數(shù)據(jù)的組織與評價(jià)方式多種多樣，而且數(shù)據(jù)規(guī)模都較小，數(shù)據(jù)集質(zhì)量也比較差。因此，做好基于大規(guī)模類別體系的數(shù)據(jù)采集工作，形成一個(gè)大規(guī)模基準(zhǔn)數(shù)

3、據(jù)集會給研究者帶來很大幫助。本文提出了一種基于類別分布的采集策略，并在此基礎(chǔ)上設(shè)計(jì)一個(gè)大規(guī)模采集系統(tǒng)，支持并行方式爬行站點(diǎn)，通過提交一組待采集的網(wǎng)頁URL地址開始收集數(shù)據(jù)。對于特定領(lǐng)域如淘寶網(wǎng)的數(shù)據(jù)采集，我們針對網(wǎng)站的個(gè)性化設(shè)置編寫符合網(wǎng)站設(shè)計(jì)的定向爬蟲來抓取所需的特定信息。
　　 2、基于跨文檔關(guān)系的網(wǎng)頁分類研究。面對大規(guī)模類別體系，層次類別研究策略是一個(gè)很好的選擇。但在文本分類研究中的層次分類研究中多數(shù)利用文檔自身的詞語集合

4、，而忽略了其中文檔間的鏈接關(guān)系。本文從文檔間的特殊關(guān)系，如父子關(guān)系、兄弟節(jié)點(diǎn)關(guān)系等入手，進(jìn)行大類別數(shù)即大規(guī)模類別情況下的文本層次分類研究。
　　 3、基于層次類別體系的商品分類研究。在電子商務(wù)交易中，類別都是按照商品間一個(gè)樹狀層次結(jié)構(gòu)來進(jìn)行分類的。在進(jìn)行商品分類研究時(shí)，考慮到商品的特殊特征，比如某些商品根據(jù)商品的品牌名稱就可以得到其所屬的分類類別，即其品牌的特征性區(qū)分度很高?；谶@一點(diǎn)，我們在研究中準(zhǔn)備了一部描述商品品牌的詞典供