基于網(wǎng)頁列表的商品信息自動提取關(guān)鍵技術(shù)研究.pdf

1、電子商務(wù)的普及使得利用電子商務(wù)進(jìn)行購物的用戶飛速增長，但隨著網(wǎng)絡(luò)上的商品信息越來越多，如何快速有效地從海量的商品信息中選擇出用戶需要的商品成為用戶關(guān)心的重要問題。現(xiàn)有的互聯(lián)網(wǎng)上商品信息大都是半結(jié)構(gòu)化的數(shù)據(jù)，同時不同的網(wǎng)站數(shù)據(jù)的網(wǎng)站結(jié)構(gòu)和提供給用戶的檢索接口都不一樣，因而無法直接給用戶提供的統(tǒng)一的查詢接口，用戶在不同網(wǎng)站檢索相關(guān)的信息需要調(diào)用不同的網(wǎng)站的檢索接口。為了能高速的檢索出需要的信息，需要給用戶提供一個統(tǒng)一的檢索接口。為了以統(tǒng)一的

2、結(jié)構(gòu)化數(shù)據(jù)提供給用戶，需要將網(wǎng)絡(luò)上的半結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一結(jié)構(gòu)的結(jié)構(gòu)化數(shù)據(jù)，然后將結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行索引，提供統(tǒng)一的檢索接口給用戶。
　　 由于網(wǎng)頁中商品信息大多是以列表的形式展示出來，列表信息所在的區(qū)域就商品信息所在的區(qū)域，列表作為信息載體具有結(jié)構(gòu)一致性的特點，論文針對列表結(jié)構(gòu)一致性提出了一個基于網(wǎng)頁列表結(jié)構(gòu)的全自動信息提取算法和基于機(jī)器學(xué)習(xí)的文本自動歸類算。在信息抽取算法中，首先利用網(wǎng)站的同構(gòu)性去除網(wǎng)頁中與商品信息無關(guān)的部分

3、，無關(guān)信息去除主要是通過將網(wǎng)頁轉(zhuǎn)化為標(biāo)簽樹的結(jié)構(gòu)，通過樹比較算法，找出不同網(wǎng)頁中相同的信息，剪去無關(guān)的信息;然后提出一種頻繁序列挖掘算法找出網(wǎng)頁中結(jié)構(gòu)相同的數(shù)據(jù)記錄，挖掘出商品信息所在的區(qū)域，商品信息的抽取主要是基于PAT樹，通過將網(wǎng)頁的標(biāo)簽轉(zhuǎn)化為二進(jìn)制流挖掘出重復(fù)出現(xiàn)的信息區(qū)域，生成信息抽取模板，然后抽取出商品信息，最后提供一個可視化的工具給用戶，讓用戶方便的標(biāo)記自己感興趣的商品信息，然后將信息提取出并安裝統(tǒng)一的結(jié)構(gòu)存儲數(shù)據(jù)庫中。為了

4、更方便的查找相關(guān)信息，利用提取出來的商品的文本信息，有效的挖掘出其中的關(guān)聯(lián)規(guī)則，通過將文本信息分成一個個的關(guān)鍵字，挖掘出關(guān)鍵字和類別之間的關(guān)聯(lián)規(guī)則，構(gòu)造出有效的決策樹，決策樹的構(gòu)造通過已經(jīng)生成的關(guān)聯(lián)規(guī)則來構(gòu)造，最后利用決策樹對提取出的商品信息進(jìn)行自動歸類，為用戶提供更加清晰的展現(xiàn)方式。
　　 隨著中國步入老年化，與老年人生活息息相關(guān)的商品越來越多，如何直接有效地從海量的商品中選擇出老年人需要的商品并以友好的方式展現(xiàn)給老年人具有很