家居導購數(shù)據(jù)平臺的設(shè)計與實現(xiàn).pdf

1、隨著電子商務(wù)產(chǎn)業(yè)的成熟，垂直化的服務(wù)開始受到重視。如主營服飾的凡客誠品、專業(yè)經(jīng)營正品鞋的拍鞋網(wǎng)和電子產(chǎn)品起家的京東等都提供了個性化的體驗。隨著垂直領(lǐng)域的電商、導購網(wǎng)站近些年的崛起，各垂直領(lǐng)域紛紛涌現(xiàn)了大量優(yōu)秀的產(chǎn)品為用戶更好的服務(wù)。服務(wù)的質(zhì)量，依賴于服務(wù)器端對數(shù)據(jù)處理的質(zhì)量。家居導購數(shù)據(jù)平臺通過爬蟲和電子商務(wù)平臺獲取數(shù)據(jù)，經(jīng)過預(yù)處理、入庫，為數(shù)據(jù)分析挖掘、前端導購提供可靠的支撐，同時為編輯人員提供生產(chǎn)環(huán)境，通過分析日志等信息為產(chǎn)品和運營

2、部門提供技術(shù)支持。該項目的主要功能模塊包括:界面模塊、數(shù)據(jù)獲取模塊、篩選/編輯子系統(tǒng)、網(wǎng)站內(nèi)容管理子系統(tǒng)、日志統(tǒng)計分析子系統(tǒng)、圖片服務(wù)器、數(shù)據(jù)寫入服務(wù)、通行證管理模塊、數(shù)據(jù)備份模塊。
　　本人獨立完成了如下工作:
　　篩選/編輯子系統(tǒng)的設(shè)計與開發(fā)，編輯人員在該子系統(tǒng)中完成對圖片的篩選和編輯，包括選擇符合要求的圖片，編輯圖片信息，通過渠道、風格、時間等條件檢索圖片。該子系統(tǒng)中引入了MongoDB存儲風格圖和單品的信息，提高關(guān)鍵

3、詞檢索的速度。
　　圖片服務(wù)器的設(shè)計與開發(fā)，該模塊獨立于其他子系統(tǒng)或模塊，提供上傳圖片、刪除圖片、生成縮略圖、打水印、存儲圖片等功能，并通過hash策略實現(xiàn)了通過修改配置文件擴展圖片服務(wù)器的策略，同時將各功能獨立以實現(xiàn)服務(wù)可伸縮，方便將來針對某項服務(wù)進行單獨優(yōu)化。
　　數(shù)據(jù)獲取模塊中數(shù)據(jù)寫入服務(wù)的設(shè)計與開發(fā)，以及編輯數(shù)據(jù)庫的設(shè)計，該服務(wù)內(nèi)部設(shè)置定時檢測機制，用于自動更新商品信息。
　　通行證管理模塊的設(shè)計與開發(fā)，為篩選