用自動微分分劃組的修正算法解大型稀疏無約束優(yōu)化問題.pdf

1、非線性最優(yōu)化在科學計算和工程分析等領(lǐng)域中都起著非常重要的作用。在大規(guī)模稀疏非線性最優(yōu)化的研究中，Newton型方法一直受到人們的青睞，對它的改進一直是人們關(guān)注的問題。近年來，結(jié)合稀疏Hesse陣的結(jié)構(gòu)，按照分劃組的思想將矩陣列分劃進行迭代是國內(nèi)外研究的一個熱點。它們大都涉及求解函數(shù)的梯度和海森矩陣，通常使用的計算方法是符號微分和差分近似。對于大中規(guī)模問題來說，使用符號微分，成本昂貴，有時甚至不可行，在計算導數(shù)的方向梯度時，利用差分法雖然

2、可以降低計算成本，但得到的是近似值，而且確定恰當?shù)牟罘謪^(qū)間也很困難。自動微分是一種新的能精確而有效地計算導數(shù)的方法，它優(yōu)越于傳統(tǒng)的微分方法。例如它比符號和差分方法的計算成本低，又比差分方法計算精確。 本文第一章簡單介紹了大型稀疏無約束優(yōu)化的解法發(fā)展歷程和求解方法的綜述，指出了現(xiàn)存方法存在的問題并提出了本文研究的專題。第二章給出了在求解無約束優(yōu)化問題時比較經(jīng)典的方法。第三章介紹了自動微分的求導技術(shù)，明確闡述了自動微分的基本概念、方

3、法，根據(jù)鏈式法則簡單解釋了自動微分的兩種基本模式：前向模式和后向模式；并與差分法做了相關(guān)比較。第四章是在第三章的基礎(chǔ)上進一步討論自動微分在求二階導數(shù)時的應用，把自動微分與相容分劃的思想相結(jié)合，根據(jù)大型稀疏Hesse矩陣的結(jié)構(gòu)特點，提出了分別用直接法和間接法求目標函數(shù)的Hesse矩陣，比較了它們的優(yōu)劣性。第五章是將自動微分應用于PGC算法，提出了新的算法ADPGC，該算法保留了PGC算法在每個分劃組內(nèi)把所有元素僅僅修正一次的優(yōu)點，又保證了