基于LNMP框架的結構化數(shù)據(jù)抽取平臺的設計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)時代網(wǎng)絡技術的飛速發(fā)展為人們提供了豐富的信息和資源，大量網(wǎng)頁信息都是通過數(shù)據(jù)庫查詢然后使用模板來展現(xiàn)在網(wǎng)頁中，此類數(shù)據(jù)便是結構化的數(shù)據(jù)。抽取結構化的數(shù)據(jù)可以為信息整合、垂直搜索等很多領域提供增值的服務，已經(jīng)有眾多學者進行了相關研究?；贚NMP框架的結構化數(shù)據(jù)抽取平臺，致力于為百度產(chǎn)品便捷、快速地獲取全網(wǎng)結構化數(shù)據(jù)，打造從網(wǎng)頁獲取、解析到結構化數(shù)據(jù)產(chǎn)出的一體化流程，為線上產(chǎn)品和數(shù)據(jù)調研提供可靠的數(shù)據(jù)支持。與此同時，通過平臺化建設，

2、降低用戶進行數(shù)據(jù)抽取的的學習成本，提高工作效率，為企業(yè)帶來利潤收益。
　　本文所設計實現(xiàn)的結構化數(shù)據(jù)抽取平臺基于LNMP(Linux操作系統(tǒng)、Nginx服務器、MySQL數(shù)據(jù)庫、PHP編程語言)開發(fā)，平臺端框架選擇Yii（基于Php的MVC框架）、Smarty（基于Php的模板引擎）、Bootstrap（基于HTML5和CSS3的前端UI框架）的組合，通過各種框架的使用，提高了開發(fā)效率。前端由模板引擎構建，前后分離，耦合度更低，容

3、錯率更高。筆者遵循軟件工程的思想，在構建結構化數(shù)據(jù)抽取平臺過程中，參與完成了結構化數(shù)據(jù)抽取服務端和抽取平臺端的需求收集、整理和分析;參與完成了系統(tǒng)功能模塊設計、技術架構設計和數(shù)據(jù)庫設計。在系統(tǒng)詳細設計與實現(xiàn)階段，筆者完成了模板管理模塊、任務管理模塊和數(shù)據(jù)抽取服務模塊三大功能模塊的設計與開發(fā)。在測試階段，筆者參與系統(tǒng)測試策略的設計，獨立完成了系統(tǒng)相關模塊的測試工作。該結構化數(shù)據(jù)抽取平臺中，模版管理模塊負責引導用戶可視化地構造抽取模板，并且