聚類分析 主成分分析和典型相關(guān)分析 含matlab程序

1、226第十二章第十二章回歸分析回歸分析前面我們講過曲線擬合問題。曲線擬合問題的特點是，根據(jù)得到的若干有關(guān)變量的一組數(shù)據(jù)，尋找因變量與（一個或幾個）自變量之間的一個函數(shù)，使這個函數(shù)對那組數(shù)據(jù)擬合得最好。通常，函數(shù)的形式可以由經(jīng)驗、先驗知識或?qū)?shù)據(jù)的直觀觀察決定，要作的工作是由數(shù)據(jù)用最小二乘法計算函數(shù)中的待定系數(shù)。從計算的角度看，問題似乎已經(jīng)完全解決了，還有進(jìn)一步研究的必要嗎從數(shù)理統(tǒng)計的觀點看，這里涉及的都是隨機(jī)變量，我們根據(jù)一個樣本計算出

2、的那些系數(shù)，只是它們的一個（點）估計，應(yīng)該對它們作區(qū)間估計或假設(shè)檢驗，如果置信區(qū)間太大，甚至包含了零點，那么系數(shù)的估計值是沒有多大意義的。另外也可以用方差分析方法對模型的誤差進(jìn)行分析，對擬合的優(yōu)劣給出評價。簡單地說，回歸分析就是對擬合問題作的統(tǒng)計分析。具體地說，回歸分析在一組數(shù)據(jù)的基礎(chǔ)上研究這樣幾個問題：（i）建立因變量y與自變量mxxx21L之間的回歸模型（經(jīng)驗公式）；（ii）對回歸模型的可信度進(jìn)行檢驗；（iii）判斷每個自變量)21

3、(mixiL=對y的影響是否顯著；（iv）診斷回歸模型是否適合這組數(shù)據(jù)；（v）利用回歸模型對y進(jìn)行預(yù)報或控制。1數(shù)據(jù)表的基礎(chǔ)知識1.1樣本空間在本章中，我們所涉及的均是樣本點變量樣本點變量類型的數(shù)據(jù)表。如果有m個變量mxxx21L，對它們分別進(jìn)行了n次采樣（或觀測），得到n個樣本點)(21imiixxxL，ni21L=則所構(gòu)成的數(shù)據(jù)表X可以寫成一個mn維的矩陣。??????????==TnTmnijeexXM1)(式中mTimiiiRx

4、xxe∈=)(21L，ni21L=，ie被稱為第i個樣本點。樣本的均值為)(21mxxxxL=，∑==niijjxnx11，mj21L=樣本協(xié)方差矩陣及樣本相關(guān)系數(shù)矩陣分別為TknkkmmijxexensS)()(11)(1???==∑=????????==jjiiijmmijsssrR)(其中2282.2.1最小二乘法用最小二乘法估計10ββ的值，即取10ββ的一組估計值10??ββ，使iy與xyi10???ββ=的誤差平方和達(dá)到最小

5、。若記∑=??=niiixyQ121010)()(ββββ則∑=??==niiixyQQ12101010)??()(min)??(10ββββββββ顯然0)(10≥ββQ，且關(guān)于10ββ可微，則由多元函數(shù)存在極值的必要條件得0)(21100=???=??∑=niiixyQβββ0)(21101=???=??∑=niiiixyxQβββ整理后，得到下面的方程組???????==∑∑∑∑∑=====niiiniiniiniiniiyxxx