大數(shù)據(jù)與數(shù)據(jù)挖掘

1、大數(shù)據(jù)與數(shù)據(jù)挖掘,華藝園林股份有限公司2017.6.23,阿里(菜鳥)與順豐之爭(zhēng),2017.3-4月 菜鳥要求順豐返回所有快遞柜(豐巢)包裹信息，即所有的快遞柜信息的觸發(fā)必須通過菜鳥裹裹，取件碼信息要無(wú)條件給菜鳥，豐巢要返回所有包裹信息給菜鳥，無(wú)論此件是否來(lái)自淘寶系平臺(tái)，順豐不同意2017.5.27 菜鳥郵件通知順豐自 5.31 日停用數(shù)據(jù)接口，下線順豐接口。 （5月31日晚上6點(diǎn)，接到順豐發(fā)來(lái)的數(shù)據(jù)接口暫停告知。6

2、月1日凌晨，順豐就關(guān)閉了自提柜的數(shù)據(jù)信息回傳）2017.6.1 菜鳥稱收到順豐發(fā)來(lái)數(shù)據(jù)接口暫停通知（順豐突然關(guān)閉了物流數(shù)據(jù)接口）2017.6.1 順豐稱豐巢接口信息是菜鳥方面于 6 月 1 日 0 點(diǎn)下線的。（菜鳥之所以封殺順豐，背后原因是阿里方面希望順豐放棄使用騰訊云改用阿里云。）2017.6.2 順豐連發(fā)兩條告示，指責(zé)菜鳥未披露實(shí)情2017.6.3 菜鳥和順豐在中國(guó)郵政局主持下和解。,背后數(shù)據(jù)之爭(zhēng),①

3、順豐：我的快遞業(yè)務(wù)以商務(wù)件為主，不完全依賴淘寶件，且我從未放棄過電商，順豐優(yōu)選仍然是生鮮電商中的領(lǐng)導(dǎo)者，我不愿意將數(shù)據(jù)拱手讓人。②阿里(菜鳥)：我已經(jīng)擁有巨大的電商數(shù)據(jù)積累，要物流數(shù)據(jù)是為了客戶服務(wù)體驗(yàn)和數(shù)據(jù)商業(yè)化，沒有數(shù)據(jù)我這種輕資產(chǎn)公司就什么都不是了。,大數(shù)據(jù)是什么?,大數(shù)據(jù)(Big Data): 指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)

4、力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。簡(jiǎn)單一點(diǎn)的說(shuō)，就是用現(xiàn)有一般技術(shù)難以管理的數(shù)據(jù)。,大數(shù)據(jù)的典型特征,Volume（容量） 數(shù)據(jù)量大，包括采集、存儲(chǔ)和計(jì)算的量都非常大。 Variety（多樣性） 種類和來(lái)源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具體表現(xiàn)為網(wǎng)絡(luò)日 志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求 Velocity（速度）

5、 數(shù)據(jù)增長(zhǎng)速度快，處理速度也快，時(shí)效性要求高。數(shù)據(jù)產(chǎn)生和更新的頻率Value （價(jià)值） 數(shù)據(jù)價(jià)值密度相對(duì)較低，或者說(shuō)是浪里淘沙卻又彌足珍貴Veracity（真實(shí)性） 數(shù)據(jù)的質(zhì)量,大數(shù)據(jù)的緯度,數(shù)據(jù),技術(shù),創(chuàng)意,個(gè)人數(shù)據(jù),比如A用戶通過菜鳥從北京給遠(yuǎn)在上海的朋友B寄了一箱櫻桃，首先最直觀的就是發(fā)件/收件人的姓名、電話、住址，這個(gè)就鎖定了兩個(gè)人的基本數(shù)據(jù)。然后通過用戶淘寶消費(fèi)明細(xì)，我們發(fā)現(xiàn)A經(jīng)常在某女裝店買

6、衣服，那么就出現(xiàn)第二個(gè)信息，A可能是女性。通過大量淘寶訂單，阿里會(huì)發(fā)現(xiàn)，這個(gè)姑娘A經(jīng)常購(gòu)物的店是針對(duì)25-35女性的，可以得出結(jié)論A年齡為25-35歲。再通過電話反向檢索淘寶/天貓數(shù)據(jù)庫(kù)，發(fā)現(xiàn)姑娘A每月淘寶消費(fèi)2000以上，可以基本判斷出這是個(gè)中等收入小資。然后，再搜索余額寶，發(fā)現(xiàn)姑娘A還有18萬(wàn)塊放在余額寶里面，哦哦，阿里現(xiàn)在知道這姑娘有閑錢。繼續(xù)檢索，發(fā)現(xiàn)姑娘A最近瀏覽了很多嬰幼兒產(chǎn)品頁(yè)面，都是針對(duì)新生兒童的，得出結(jié)論姑娘要生寶

7、寶了其他。。。。。。,數(shù)據(jù)做什么？,能干的太多了，用戶畫像、精準(zhǔn)營(yíng)銷、用戶體驗(yàn)提升、決策輔助等等，我們就說(shuō)說(shuō)個(gè)簡(jiǎn)單的：用戶畫像上面整個(gè)過程中，系統(tǒng)已經(jīng)給用戶做了畫像。姑娘A，家住北京，電話，地址，25-35歲，女性，消費(fèi)能力中等，資產(chǎn)情況好，準(zhǔn)備生小孩。。。,精準(zhǔn)營(yíng)銷、體驗(yàn)提升,當(dāng)這個(gè)姑娘下次打開淘寶的時(shí)候（手機(jī)/PC），系統(tǒng)頁(yè)面自動(dòng)會(huì)將下面產(chǎn)品放在首頁(yè)：母嬰用品，中高端（孕婦裝、兒童裝、紙尿褲、奶粉統(tǒng)統(tǒng)來(lái)一套）服裝，中高化妝品

8、，國(guó)內(nèi)知名品牌。。。。。。剩下的事情你懂得，淘寶頁(yè)面可是很有限的，為了提高廣告效率，你看把我家淘寶累成啥樣了？所以賣貨的筒子，趕緊掏錢啊，引流效果很好的。。。。還可以這樣：當(dāng)姑娘A登陸蝦米音樂的時(shí)候，阿里就直接給他推送25-35歲女性的歌曲，順便把A常聽的歌曲也加入數(shù)據(jù)庫(kù)。。。打開支付寶的時(shí)候，順手推薦下理財(cái)產(chǎn)品，反正A也有閑錢，放著多浪費(fèi)啊，來(lái)看看這些。。。順手還能推薦一下兒童的0歲保險(xiǎn)^_^.,對(duì)用戶：不用打電話不用發(fā)問

9、卷，不用騷擾用戶，通過大數(shù)據(jù)抓取的信息我都清楚，用戶想到想不到的，通通替用戶想到，只說(shuō)一句：您就掏錢吧，擱哪兒都要買，不是么。。。對(duì)商家：我知道誰(shuí)需要你的產(chǎn)品，誰(shuí)出的錢多，我就把誰(shuí)的產(chǎn)品展示給用戶，趕緊麻利掏錢，別跟我BB。那邊的窮鬼死一邊去。。。,數(shù)據(jù)挖掘是什么,數(shù)據(jù)挖掘（英語(yǔ)：Data mining），又譯為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)（KDD)中的一個(gè)步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過

10、程。數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān)，并通過統(tǒng)計(jì)、在線分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)和模式識(shí)別等諸多方法來(lái)實(shí)現(xiàn)上述目標(biāo)。,各種來(lái)源數(shù)據(jù),數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)挖掘引擎,模式評(píng)估,,,,,用戶界面,,,知識(shí)庫(kù),數(shù)據(jù)挖掘做什么,數(shù)據(jù)庫(kù)技術(shù),統(tǒng)計(jì)學(xué),信息科學(xué),可視化,機(jī)器學(xué)習(xí),數(shù)據(jù)挖掘,概念性描述：用戶畫像；高度自動(dòng)化地分析，做出歸納性的推理，從中挖掘出潛在的模式，可以幫助企業(yè)、商家、用戶調(diào)整市場(chǎng)政策、減少風(fēng)險(xiǎn)、理性面對(duì)市場(chǎng)，并做出正