基于聚焦爬蟲的網(wǎng)上藥品信息監(jiān)測系統(tǒng).pdf

1、近年來,隨著互聯(lián)網(wǎng)的飛速發(fā)展,網(wǎng)絡已成為人們獲取信息、傳遞信息的重要途徑,隨之而來的是網(wǎng)絡信息呈指數(shù)級的爆炸性增長?；ヂ?lián)網(wǎng)的發(fā)展雖然極大地方便了人們的生活,但由于其資源廣,范圍大,發(fā)布信息成本低,監(jiān)管難等特點,使得許多在有形市場上受到有關(guān)執(zhí)法部門強有力的打擊的制假售假者逐漸將售假的平臺轉(zhuǎn)移到了網(wǎng)絡上來,大量假冒侵權(quán)商品在網(wǎng)絡上肆無忌憚地出現(xiàn),一個新的“售假天堂”正在形成。
　　 為了打擊日益猖獗的網(wǎng)絡兜售假冒藥品的犯罪行為,減輕

2、工作人員的工作強度,需要對網(wǎng)上藥品交易信息進行監(jiān)測,藥品信息監(jiān)測的關(guān)鍵就是要對浩瀚的網(wǎng)絡資源進行主題搜索,而實現(xiàn)主題搜索的就是聚焦爬蟲。聚焦爬蟲針對某個領域或面向特定主題,以獲得較為理想的準確率和召回率。但大多數(shù)搜索算法都是用于大主題搜索,而專門用于特定小主題(比如藥品交易監(jiān)測)的搜索效果卻不理想。
　　 為此,本文主要做的工作包括:
　　 1.針對論壇網(wǎng)站和普通網(wǎng)站的網(wǎng)絡結(jié)構(gòu)特點的不同,分別提出了不同的頁面搜索算法。<

3、br>　　 2.針對小主題搜索效果不佳的問題,在分析現(xiàn)有聚焦爬蟲搜索方法的基礎上,提出了一種對互聯(lián)網(wǎng)特定主題進行信息搜索的組合策略。這種組合搜索策略包括頁面搜索、相關(guān)度分析兩部分。頁面搜索算法采用了改進型的Fish—Search算法；相關(guān)度分析采用了分步算法,其中第一步采用向量空間模型。搜索算法,粗選出大主題；第二步分別采用改進型的樸素貝葉斯分類算法與k最近鄰算法,從粗選結(jié)果中再精選出相關(guān)的小主題。
　　 3.在此研究基礎上,