求解非凸最小化問題的譜尺度MBFGS方法.pdf

1、擬牛頓法是求解中小型無約束優(yōu)化問題頗受歡迎的一類方法,該方法具有計(jì)算量較小,收斂速度快等優(yōu)點(diǎn).在眾多的擬Newton法中,BFGS算法由于具有很好的數(shù)值效果,是最受歡迎的一種算法.但該算法用于求解非凸函數(shù)極小值問題時不具有全局收斂性.MBFGS算法可用于求解非凸函數(shù)極小值問題.然而求解大規(guī)模問題時,MBFGS算法產(chǎn)生的迭代矩陣Bk通常是稠密的,Bk的條件數(shù)可能較大,因而求解子問題較難.針對MBFGS算法這種缺陷,本文提出一種譜尺度MBF

2、GS算法.其基本思想是對傳統(tǒng)的擬Newton方程進(jìn)行修正,使得擬Newton矩陣不再是目標(biāo)函數(shù)的Hessian矩陣的近似,而是它的經(jīng)過預(yù)處理后的形式的近似.這種方式的目的在于降低迭代矩陣的條件數(shù),從而降低求解子問題的難度.該算法產(chǎn)生的迭代矩陣具有很好的性質(zhì),迭代矩陣具有對稱正定性,該性質(zhì)與函數(shù)的凸性和線性搜索無關(guān)；具有自修正跡的性質(zhì),可以有效的糾正過大的特征值.從而使得迭代矩陣的條件數(shù)變小.
　　 在較弱的條件下,我們證明,即使