專業(yè)信息定向采集與多維搜索系統(tǒng).pdf

1、決策依靠經(jīng)驗(yàn)、直覺和邏輯驅(qū)動(dòng)，但大數(shù)據(jù)時(shí)代以來，特別對(duì)專業(yè)領(lǐng)域來講，決策越來越依靠數(shù)據(jù)驅(qū)動(dòng)?；ヂ?lián)網(wǎng)上存在大量領(lǐng)域相關(guān)文本信息，這些信息多以新聞報(bào)道、博客、社區(qū)門戶等形式存在。多維搜索是一種基于排序與分類的搜索技術(shù)，如何將這些技術(shù)應(yīng)用到互聯(lián)網(wǎng)專業(yè)領(lǐng)域數(shù)據(jù)是一個(gè)非常復(fù)雜的流程，涉及內(nèi)容從如何從互聯(lián)網(wǎng)采集信息、保證HTML文本質(zhì)量到自然語言處理與多維搜索技術(shù)等。本文結(jié)合分布式定向爬蟲、數(shù)據(jù)清洗、文本分析、多維搜索等技術(shù)，構(gòu)建了一個(gè)面向?qū)I(yè)領(lǐng)域

2、的互聯(lián)網(wǎng)定向數(shù)據(jù)采集與多維搜索系統(tǒng)。本文基于一個(gè)實(shí)際的應(yīng)用例子，聚焦于實(shí)現(xiàn)一個(gè)簡單易用且可擴(kuò)展的系統(tǒng)用于專業(yè)領(lǐng)域的互聯(lián)網(wǎng)文本分析。
　　本研究主要內(nèi)容包括：⑴基于專業(yè)領(lǐng)域互聯(lián)網(wǎng)數(shù)據(jù)采集需求，構(gòu)建了一個(gè)分布式定向爬蟲。與全文抓取不同，分布式定向爬蟲要求從互聯(lián)網(wǎng)快速抓取深層次、精確化的結(jié)構(gòu)化數(shù)據(jù)；⑵構(gòu)建信息抽取通道，用于清洗加工分布式爬蟲采集下來的數(shù)據(jù)。步驟主要包括去除網(wǎng)頁噪音、進(jìn)行內(nèi)容查重、丟棄無關(guān)專業(yè)領(lǐng)域數(shù)據(jù)、文本分詞與實(shí)體抽??；