風(fēng)險(xiǎn)主題網(wǎng)關(guān)信息采集模塊研究與設(shè)計(jì).pdf

1、本文針對主題網(wǎng)關(guān)的不同信息來源，采取定向Extractor、深度Extractor兩種方式進(jìn)行信息采集；建立風(fēng)險(xiǎn)知識庫，處理采集到的信息，工作主要分為以下三部分： 1)針對普通網(wǎng)頁信息，采用定向Extractor：定義模板，定向抓取種子站點(diǎn)列表頁；采用DOM和啟發(fā)式規(guī)則，實(shí)現(xiàn)列表塊的定位；提出基于標(biāo)簽距離的列表聚類包裝方法，改善聚類效果，實(shí)現(xiàn)列表的聚類包裝，得到結(jié)構(gòu)化信息項(xiàng)；提出容器距離，改進(jìn)基于Finn的正文抽取方法，實(shí)現(xiàn)信息

2、的正文抽取，完成信息紀(jì)錄集的抽取。 2)針對深度網(wǎng)絡(luò)中的信息，采用深度Extractor： ·表單理解：搜索表單是訪問深度網(wǎng)絡(luò)的唯一接口，首先構(gòu)造基于邏輯屬性的表單邏輯模型；提出表單表達(dá)式，基于表單布局識別邏輯屬性標(biāo)簽，分析表單元素間語義，構(gòu)造啟發(fā)式規(guī)則，實(shí)現(xiàn)表單邏輯屬性的抽取。 ·表單的提交：以表單邏輯模型為基礎(chǔ)，改進(jìn)提交策略，提出隨機(jī)排除型提交策略，實(shí)現(xiàn)表單的自動提交。 ·響應(yīng)頁處理：構(gòu)造啟發(fā)式規(guī)則，