基于非結(jié)構(gòu)化招聘信息的采集與清洗系統(tǒng).pdf

1、互聯(lián)網(wǎng)的迅猛發(fā)展打破了傳統(tǒng)地域的限制，企業(yè)招聘由線下轉(zhuǎn)移到了互聯(lián)網(wǎng)上來，涌現(xiàn)了一批大型的在線求職平臺，如智聯(lián)招聘、拉勾網(wǎng)、前程無憂等。但是由于非結(jié)構(gòu)化招聘信息不統(tǒng)一，缺乏一站式采集、提取和清洗方案，求職者難以在雜亂無章的招聘信息中找到合適的信息。對非結(jié)構(gòu)化招聘信息的采集、提取和清洗，形成統(tǒng)一結(jié)構(gòu)化的數(shù)據(jù)集，已成為一個亟需研究的課題。
　　本文是針對IT行業(yè)的非結(jié)構(gòu)化招聘信息，進(jìn)行數(shù)據(jù)的采集、提取和清洗。其主要安排如下:
　　

2、(1)非結(jié)構(gòu)化數(shù)據(jù)采集:簡單介紹爬蟲技術(shù)的發(fā)展以及Scrapy框架爬取數(shù)據(jù)的基本原理，然后利用Scrapy框架采集非結(jié)構(gòu)化招聘信息，并存儲到MongoDB數(shù)據(jù)庫。
　　(2)數(shù)據(jù)提取:利用AC算法對采集完成的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行關(guān)鍵字的提取，達(dá)到將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變成結(jié)構(gòu)化數(shù)據(jù)，并重新存儲到MongoDB數(shù)據(jù)庫。
　　(3)數(shù)據(jù)清洗:首先利用SQL語句對結(jié)構(gòu)化數(shù)據(jù)進(jìn)行預(yù)處理，接著進(jìn)行清洗。由于現(xiàn)有的基本Skyline算法清洗數(shù)據(jù)效