大數(shù)據(jù)與人工智能-解惑

1、大數(shù)據(jù)與人工智能 ------ 解惑,主 題,人工智能的歷史1956年達(dá)特茅斯會(huì)議召開(kāi)，人工智能正式提上議程智能時(shí)代什么時(shí)候來(lái)臨？當(dāng)機(jī)器擁有語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)音理解等這些人最本質(zhì)的智慧能力的時(shí)候，那么大數(shù)據(jù)人工智能時(shí)代已經(jīng)來(lái)臨。,人工智能歷史及發(fā)展,人工智能應(yīng)用1-圍棋,人工智能應(yīng)用2-聊天機(jī)器人,人工智能應(yīng)用3-圖片識(shí)別,"little gi

2、rl is eating piece of cake.",人工智能應(yīng)用4-人臉識(shí)別,人工智能應(yīng)用5-圖片文字提取,人工智能應(yīng)用6-自動(dòng)駕駛汽車(chē),Machine Learning(ML) is a scientific discipline that deals with the construction and study of algorithms that can learn from data.機(jī)器學(xué)習(xí)是一門(mén)從數(shù)據(jù)中研

3、究算法的科學(xué)學(xué)科。機(jī)器學(xué)習(xí)直白來(lái)講，是根據(jù)已有的數(shù)據(jù)，進(jìn)行算法選擇，并基于算法和數(shù)據(jù)構(gòu)建模型，最終對(duì)未來(lái)進(jìn)行預(yù)測(cè),機(jī)器學(xué)習(xí)定義,1：傳統(tǒng)模型算法2：深度學(xué)習(xí)算法,機(jī)器學(xué)習(xí)算法,1：決策樹(shù)算法 2：K-近鄰算法3：支持向量機(jī)(SVN)4：關(guān)聯(lián)分析(Apriori)5：隱馬爾科夫模型(HMM)6：AdaBoost算法7：樸素貝葉斯算法 ......,傳統(tǒng)算法,深度

4、神經(jīng)網(wǎng)絡(luò)(DNN)(Deep Neural Network)應(yīng)用場(chǎng)景：搜索排序、推薦排序,深度學(xué)習(xí),卷積神經(jīng)網(wǎng)絡(luò)(CNN)(Convolutional Neural Network)應(yīng)用場(chǎng)景：圖像識(shí)別、視頻分析,深度學(xué)習(xí),循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)(Recurrent Neural Network)應(yīng)用場(chǎng)景：語(yǔ)音識(shí)別、自然語(yǔ)言處理,深度學(xué)習(xí),投資策略1：選擇項(xiàng)目2：選擇時(shí)間3：風(fēng)險(xiǎn)控制4：買(mǎi)入項(xiàng)目5：賣(mài)出項(xiàng)目,智能P2

5、P投資系統(tǒng),預(yù)測(cè)流程,新聞及政策預(yù)測(cè)投資走向,數(shù)據(jù)收集,,數(shù)據(jù)處理,,文本向量化,,信息抽取,中文分詞,特殊過(guò)濾,情感分析,中文分詞,分詞操作,詞向量表示1：One-Hot稀疏編碼橙子 [1 0 0 0 0 ]菠蘿 [0 1 0 0 0 ]2：Embedding稠密編碼橙子 [0.3 0.2],向量表示,詞編碼訓(xùn)練（Word2Vec）1：基于上下文預(yù)測(cè)詞2：基于詞預(yù)測(cè)上下文可通過(guò)以下實(shí)現(xiàn)1：python Gens

6、im 工具包2：world2Vec google開(kāi)源,向量標(biāo)記訓(xùn)練,投入模型進(jìn)行訓(xùn)練例如：卷積神經(jīng)網(wǎng)絡(luò) CNN基本原理：二維圖像-->分解方格-->卷積變換-->池化-->取出最大值輸出(最終得出圖像的類(lèi)別),模型訓(xùn)練,圖像與單詞連接思路：一維單詞--》二維矩陣以單詞向量作為輸入項(xiàng)目收益的波動(dòng)作為輸出,模型訓(xùn)練,一：數(shù)據(jù)來(lái)源 1：網(wǎng)絡(luò)爬蟲(chóng) 2：開(kāi)源工具 3：大數(shù)據(jù)平臺(tái)二：預(yù)測(cè)步驟

7、 1 : 數(shù)據(jù)清洗 例如通過(guò)jieba分詞系統(tǒng) 分詞、過(guò)濾等操作 2：通過(guò) python中的 numpy、pandas、Matplotlib完成數(shù)據(jù)預(yù)處理及特征提取操作 3：通過(guò)tensorflow、tflearn深度學(xué)習(xí)工具包進(jìn)行深度學(xué)習(xí)建模。,開(kāi)發(fā)流程總結(jié),對(duì)比：,智能與非智能比較,人工智能應(yīng)用開(kāi)發(fā)流程,數(shù)據(jù)收集,,數(shù)據(jù)清洗,,特征工程,,數(shù)據(jù)建模,如果你是下面的行業(yè)1：司機(jī)2：醫(yī)生3：記者4：翻譯5