最小二乘法小結(jié)

1、最小二乘法原理最小二乘法原理1.1.介紹部分介紹部分最小二乘法是獲得物理參數(shù)唯一值的標(biāo)準(zhǔn)方法，具體是通過這些參數(shù)或者在已知數(shù)學(xué)模型中與這些參數(shù)相關(guān)的參數(shù)的多余觀測(cè)值來求得。最小二乘法最早是由高斯提出，用來估計(jì)行星運(yùn)行軌道的。1.11.1數(shù)理統(tǒng)計(jì)和最小二乘法數(shù)理統(tǒng)計(jì)和最小二乘法物理量總是不能被精確測(cè)定?？偸谴嬖谝粋€(gè)限定的測(cè)量精度，超過這個(gè)精度，相關(guān)的數(shù)學(xué)模型和測(cè)量?jī)x器的分辨率這兩者之一或者全部將會(huì)無能為力。超出這個(gè)精度，多余觀測(cè)值之間會(huì)產(chǎn)

2、生差異。我們常常希望獲得超過該限定精度的測(cè)量值，在不知道真值的情況下我們只能估計(jì)真值。一方面我們想要估計(jì)出唯一的值，另一方面，我們想要知道這個(gè)估計(jì)有多好。最小二乘法就是這樣一個(gè)估計(jì)，它基于最小化差值的平方和。最小二乘法相比其他傳統(tǒng)的方法有三個(gè)優(yōu)點(diǎn)。其一，它既可以應(yīng)用在線性數(shù)學(xué)模型上也可以應(yīng)用在非線性數(shù)學(xué)模型上；其二，它和統(tǒng)計(jì)量算術(shù)平均值有關(guān)；其三，最小二乘法在很多領(lǐng)域是通用的。物理量的值的唯一統(tǒng)計(jì)估計(jì)稱為點(diǎn)估計(jì)。無論頻率函數(shù)是否知道，我

3、們都可以作物理量的點(diǎn)估計(jì)并且可以衡量它與真值趨近程度。另外兩種估計(jì)，區(qū)間估計(jì)以及假設(shè)檢驗(yàn)，它們只能在相應(yīng)的頻率函數(shù)已經(jīng)確定的情況下進(jìn)行。1.21.2線性代數(shù)和最小二乘法線性代數(shù)和最小二乘法（nontrivial=nonzero，非平凡解就是指非零解）現(xiàn)有線性方程組AX=L（11）X是未知數(shù)向量，L是常數(shù)向量，A是系數(shù)矩陣，[A:L]是增廣矩陣。該方程組有唯一非零解僅當(dāng)L≠0（非齊次方程組），（12a）r(A)=X的維數(shù)，（12b）測(cè)誤差

4、是正態(tài)分布，那么最小二乘方差估計(jì)就是最大似然估計(jì)?？紤]更一般的情形，此時(shí)觀測(cè)量未知參數(shù)的非線性方程相關(guān)(111)VLXF??)(或者，觀測(cè)量與未知參數(shù)的方程非線性相關(guān)(112)0)(??VLXF1.31.3數(shù)字計(jì)算機(jī)和最小二乘法數(shù)字計(jì)算機(jī)和最小二乘法從實(shí)際出發(fā)，矩陣求逆以及矩陣乘法都要求海量的計(jì)算步驟。在大型快速計(jì)算機(jī)發(fā)明以前，除非絕對(duì)必要，一般是不會(huì)去做這樣的嘗試。然而測(cè)量網(wǎng)坐標(biāo)的最小二乘估計(jì)就是這樣的必要情況。以前的大地測(cè)量學(xué)家在簡(jiǎn)

5、化步驟創(chuàng)新方法上做出很多努力，計(jì)算機(jī)發(fā)明之后這項(xiàng)工作顯得沒原來那么重要了。然而計(jì)算機(jī)也不能同時(shí)計(jì)算多達(dá)數(shù)千個(gè)方程，因此，如今大地測(cè)量學(xué)家把精力放在改進(jìn)算法上，以便將一個(gè)大問題拆分成許多小問題，再逐一解決。1.41.4高斯和最小二乘法高斯和最小二乘法以下是對(duì)高斯一段引文的翻譯“如果用于軌道計(jì)算的天文觀測(cè)值和其他量是完全正確的，則軌道要素也是嚴(yán)格準(zhǔn)確的，而無論是從三個(gè)或者四個(gè)觀測(cè)值上推導(dǎo)出來（到目前為止軌道運(yùn)動(dòng)確實(shí)按照開普勒定律在進(jìn)行），因

6、此，如果使用其他觀測(cè)值，則軌道要素可能被確定但不準(zhǔn)確。但是，因?yàn)槲覀兊乃袦y(cè)量值和觀測(cè)值都只是真值的近似，那么依賴于它們的所有計(jì)算也一定是正確的，關(guān)于具體現(xiàn)象的所有計(jì)算的最高目標(biāo)一定是近似與真值的，只要接近到可實(shí)用的程度。但這只能通過將多于確定未知量所必要的觀測(cè)量進(jìn)行適當(dāng)組合來完成。這個(gè)問題只有當(dāng)軌道的大概知識(shí)已經(jīng)獲得的情況下才能處理，這個(gè)大概的知識(shí)之后將得到改正以便以盡可能最精確的方式滿足所有的觀測(cè)值?！睆倪@段寫于150年前的話可以總