統(tǒng)計(jì)學(xué)習(xí)基礎(chǔ)

1、1,統(tǒng)計(jì)學(xué)習(xí)基礎(chǔ),卿來(lái)云中國(guó)科學(xué)院研究生院信息學(xué)院lyqing@gucas.ac.cn / lyqing@jdl.ac.cn,2,概率 vs. 統(tǒng)計(jì),概率：研究隨機(jī)事件出現(xiàn)的可能性的數(shù)學(xué)分支，描述非確定性的正式語(yǔ)言基本問(wèn)題：給定以一個(gè)數(shù)據(jù)產(chǎn)生過(guò)程，輸出的性質(zhì)? 統(tǒng)計(jì)推斷：處理數(shù)據(jù)分析和概率理論的數(shù)學(xué)分支，與數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)是近親基本問(wèn)題：給定輸出數(shù)據(jù)，該數(shù)據(jù)的產(chǎn)生過(guò)程?,數(shù)據(jù)產(chǎn)生過(guò)程,觀測(cè)到的數(shù)據(jù),概率,統(tǒng)計(jì)推斷,3,統(tǒng)計(jì)學(xué)

2、習(xí),統(tǒng)計(jì)學(xué) ≈ 根據(jù)數(shù)據(jù)進(jìn)行推理的學(xué)科統(tǒng)計(jì)學(xué)習(xí) ≈多元統(tǒng)計(jì)分析 + 計(jì)算統(tǒng)計(jì)學(xué)多元統(tǒng)計(jì)分析 ≈ 基于一個(gè)多元變量數(shù)據(jù)集，預(yù)測(cè)函數(shù)值計(jì)算統(tǒng)計(jì)學(xué) ≈ 統(tǒng)計(jì)問(wèn)題的計(jì)算方法 (a.k.a. 統(tǒng)計(jì)計(jì)算) + 計(jì)算繁重的統(tǒng)計(jì)方法數(shù)據(jù)挖掘 ≈ 研究數(shù)據(jù)分析，尤其是大數(shù)據(jù)量/復(fù)雜的數(shù)據(jù)集,4,學(xué)習(xí)的主要目的：預(yù)測(cè),通過(guò)學(xué)習(xí)，得到訓(xùn)練數(shù)據(jù)的某種模型然后利用該模型，預(yù)測(cè)未見過(guò)的測(cè)試數(shù)據(jù)假設(shè)測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)來(lái)自相同分布,5,統(tǒng)計(jì)學(xué)習(xí)的

3、任務(wù),概率密度估計(jì)：預(yù)測(cè)概率密度回歸：預(yù)測(cè)連續(xù)目標(biāo)變量的值分類：預(yù)測(cè)離散目標(biāo)變量的值其他：聚類、降維有監(jiān)督/無(wú)監(jiān)督學(xué)習(xí)有監(jiān)督學(xué)習(xí)：回歸、分類無(wú)監(jiān)督學(xué)習(xí)：概率密度估計(jì)、聚類、降維,6,統(tǒng)計(jì)學(xué)習(xí)的主要部分,模型類別參數(shù)模型、非參數(shù)模型損失函數(shù)L2損失、0-1損失、log似然損失…推廣性訓(xùn)練誤差（學(xué)習(xí)）、測(cè)試誤差（預(yù)測(cè)）優(yōu)化計(jì)算,7,例：回歸,數(shù)據(jù)產(chǎn)生過(guò)程為加上 的高斯噪聲目標(biāo)：用多項(xiàng)式模型

4、擬合 ，使得最小。,8,例：回歸（續(xù)）,,,,擬合函數(shù),,樣本數(shù)據(jù)點(diǎn),,9,例：回歸（續(xù)）,,10,例：人臉形狀,,ICCV2001: Learning inhomogeneous Gibbs models of faces by minimax entropy,11,一些問(wèn)題,怎樣表示誤差？（損失函數(shù)）怎樣保證在未來(lái)的數(shù)據(jù)集上誤差最小？（推廣性）對(duì)特定的數(shù)據(jù)，應(yīng)該選擇哪個(gè)模型/方法？（模型選擇、假設(shè)檢驗(yàn)）

5、我們的方法在未來(lái)數(shù)據(jù)集上的誤差是多少？（誤差估計(jì)、置信帶、學(xué)習(xí)理論）,12,課程目的,為計(jì)算機(jī)專業(yè)的學(xué)生快速提供廣泛的概率和統(tǒng)計(jì)背景概率統(tǒng)計(jì)統(tǒng)計(jì)學(xué)習(xí)為學(xué)習(xí)其他課程打好統(tǒng)計(jì)學(xué)基礎(chǔ)機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘模式識(shí)別人工智能…,13,數(shù)學(xué)基礎(chǔ)的重要性,研究數(shù)據(jù)分析必須打好概率和統(tǒng)計(jì)基礎(chǔ)Using fancy tools like neural nets, boosting and support vector machines w

6、ithout understanding basic statistics like doing brain surgery before knowing how to use a band-aid.,14,教材/參考書,[AOL] Larry Wasserman, All of Statistics: A Concise Course in Statistical Inference中譯本：《統(tǒng)計(jì)學(xué)完全教程》主要教材：內(nèi)容很全，但

7、有些部分篇幅略少，更偏向于從統(tǒng)計(jì)的角度講述Chp1-13, Chp20[ESL] Trevor Hastie, Robert Tibshirani, Jerome Friedman，The Elements of Statistical Learning – Data Mining, Inference, and Prediction中譯本：《統(tǒng)計(jì)學(xué)習(xí)基礎(chǔ)—數(shù)據(jù)挖掘、推理與預(yù)測(cè)》統(tǒng)計(jì)學(xué)習(xí)部分的主要教材：主要從機(jī)器學(xué)習(xí)的角度講述

8、Chp1-7[PRML] Bisshopr，Pattern Recognition and Machine Learning,15,課程內(nèi)容（1）,第一部分：概率隨機(jī)變量及其概率分布概率不等式和收斂性第二部分：統(tǒng)計(jì)推斷統(tǒng)計(jì)推斷基本知識(shí)非參數(shù)估計(jì)、Bootstrap、Jackknife參數(shù)估計(jì)假設(shè)檢驗(yàn),16,課程內(nèi)容（2）,第三部分：統(tǒng)計(jì)學(xué)習(xí)統(tǒng)計(jì)學(xué)習(xí)概述線性回歸核方法統(tǒng)計(jì)判決理論模型選擇和模型評(píng)估,17,作