人工智能在搜索引擎資源獲取中的應用.pdf

1、隨著網(wǎng)絡技術的不斷發(fā)展，網(wǎng)上的信息資源成幾何規(guī)律增加。越來越多的信息給人們帶來方便的同時也增加了信息查找的難度。搜索引擎也隨之應運而生。依靠搜索引擎，用戶能夠方便地查找需要的信息。搜索引擎一個重要部分是網(wǎng)絡爬蟲程序，依靠網(wǎng)絡爬蟲，搜索引擎可以獲取用來檢索的原材料信息。 傳統(tǒng)的搜索引擎資源獲取部分使用的是盲目式的遍歷算法，即對所獲得的鏈接進行遍歷，抽取相關信息保存數(shù)據(jù)庫中供搜索引擎檢索調用。這種方法存在不少問題。使用這種方法，會導

2、致垃圾數(shù)據(jù)的大量積累，對于某些獲取的數(shù)據(jù)，可能從來不被檢索訪問。除此之外，由于遍歷了大量無關的鏈接，會導致系統(tǒng)負擔的增加，效率的低下。 在本文中，提出使用人工智能中的啟發(fā)式搜索來獲取特定的信息，這樣可以極大地減少遍歷的鏈接數(shù)量，使被訪問到的鏈接盡量地指向有用的信息。減少了無關鏈接的訪問數(shù)量，就能極大地提高相對回報率，從而提高了系統(tǒng)的效率。 另外，在頁面類型的判斷中，本文引入了一個智能代理系統(tǒng)，完成網(wǎng)頁類型的自動分類判斷。