基于Web挖掘的交通出行方案生成系統(tǒng).pdf

1、隨著信息技術(shù)的高速發(fā)展，數(shù)據(jù)庫的應(yīng)用無論從規(guī)模、范圍和深度上都有了長足的進步，從單臺機器、局域網(wǎng)發(fā)展到廣域網(wǎng)絡(luò)，甚至到Internet全球信息系統(tǒng)。另一方面，電子商務(wù)、企業(yè)信息化和政府事務(wù)的管理以及數(shù)據(jù)挖掘工具的發(fā)展，都提供了大規(guī)模的數(shù)據(jù)。因此，現(xiàn)在僅僅依靠數(shù)據(jù)庫管理系統(tǒng)的查詢檢索機制和統(tǒng)計學(xué)分析方法已遠遠不能滿足現(xiàn)實需要了，它迫切要求自動和智能的將待處理的數(shù)據(jù)轉(zhuǎn)化成有用的信息和知識。于是，數(shù)據(jù)挖掘(Data Mining，DM)便應(yīng)運

2、而生，成為近年來人工智能、數(shù)據(jù)庫應(yīng)用領(lǐng)域的研究熱點。Web上有海量的數(shù)據(jù)信息，利用現(xiàn)有的Web查詢技術(shù)并不能滿足人們的應(yīng)用需求。相對于Web的數(shù)據(jù)而言，傳統(tǒng)的數(shù)據(jù)庫中的數(shù)據(jù)為完全結(jié)構(gòu)化的數(shù)據(jù)，可以根據(jù)一定的數(shù)據(jù)模型來具體描述特定的數(shù)據(jù)，同時可以很好地定義和解釋相關(guān)的查詢語言。然而，Web上數(shù)據(jù)的最大特點是就是半結(jié)構(gòu)化：數(shù)據(jù)沒有嚴格的結(jié)構(gòu)模式、含有不同格式的數(shù)據(jù)(文本、聲音、圖像等)、面向顯示的HTML文本無法區(qū)分數(shù)據(jù)類型等，Web挖掘的

3、對象是大量異質(zhì)、分布的Web文檔以及服務(wù)器上的日志、用戶信息等，挖掘所得到的模式可能是關(guān)于Web內(nèi)容的，也可能是關(guān)于Web結(jié)構(gòu)或使用的?？梢?，Web挖掘比傳統(tǒng)的數(shù)據(jù)庫或數(shù)據(jù)倉庫中的數(shù)據(jù)挖掘復(fù)雜得多。通過Web挖掘，不僅可以從大量多種多樣信息的Web頁面中提取出我們需要的有用的知識，還可以得到關(guān)于群體用戶訪問行為和方式的普遍知識，用以改進Web服務(wù)方設(shè)計。
　　 Web數(shù)據(jù)挖掘技術(shù)首要解決半結(jié)構(gòu)化數(shù)據(jù)源模型和半結(jié)構(gòu)化數(shù)據(jù)模型的查詢

4、與集成問題。解決Web上的異構(gòu)數(shù)據(jù)的集成與查詢問題，就必須要有一個模型來清晰地描述Web上的數(shù)據(jù)。針對Web上的數(shù)據(jù)半結(jié)構(gòu)化的特點，尋找一個半結(jié)構(gòu)化的數(shù)據(jù)模型是解決問題的關(guān)鍵所在。近來興起的XML數(shù)據(jù)就是一種自描述的半結(jié)構(gòu)化數(shù)據(jù)，它支持用戶自定義文檔標(biāo)記，用有序的、嵌套的元素組織有一定結(jié)構(gòu)的數(shù)據(jù)，是面向數(shù)據(jù)的。本文正是利用XML的特點，首先采用一定方式的頁面下載，經(jīng)過數(shù)據(jù)清洗或頁面精簡，然后通過Java工具將HTML頁面轉(zhuǎn)換成XML進行

5、保存。再對保存的數(shù)據(jù)進行同義詞替換，數(shù)據(jù)整理等。最后將數(shù)據(jù)存入準備好的數(shù)據(jù)庫中。本文主要以旅游相關(guān)知識領(lǐng)域為研究對象，研究隱藏在半結(jié)構(gòu)化數(shù)據(jù)中的模式和數(shù)據(jù)實體、數(shù)據(jù)實體內(nèi)容之間的模式和聯(lián)系，通過頁面下載，數(shù)據(jù)預(yù)處理，數(shù)據(jù)挖掘來實現(xiàn)方便查詢火車、飛機、汽車等交通工具時刻表及各站點相關(guān)知識，提供出行方案查詢頁面，指定起止站點、組合交通工具、轉(zhuǎn)車方式等條件后，系統(tǒng)以所需時間、金額、轉(zhuǎn)車次數(shù)等為依據(jù)在線生成混合交通的最優(yōu)化方案。
　　

6、通過本次系統(tǒng)設(shè)計，通過頁面下載，對數(shù)據(jù)進行挖掘，最終得到一個整齊的數(shù)據(jù)表。本次設(shè)計的主要特點在于如何從海量網(wǎng)頁(網(wǎng)站)獲取大量數(shù)據(jù)，并產(chǎn)生增量獲取的效果，在此基礎(chǔ)上提供完整的出行方案。本系統(tǒng)的難點也是WEB挖掘的難點在于如何從大量的異構(gòu)的數(shù)據(jù)庫中提取有用數(shù)據(jù)。
　　 本次設(shè)計的創(chuàng)新點在于：
　　 1)構(gòu)建了一個智能Web信息挖掘的原型系統(tǒng)，實現(xiàn)了知識獲取、知識組織及知識服務(wù)三大應(yīng)用體系建設(shè)；
　　 2)建立一系列