因子分析-湖北大學新聞傳播學院歡迎你！

1、第五章 因子分析,第一節(jié) 因子分析簡介第二節(jié) 基本原理第三節(jié) 求解初始因子第四節(jié) 解釋因子第五節(jié) 因子值及其應用第六節(jié) 研究實例,參見郭志剛主編，《社會統(tǒng)計分析方法—SPSS軟件應用》第三章， 中國人民大學出版社1999,第一節(jié) 因子分析簡介,因子分析( Factor Analysis ,也稱因素分析)是一種數(shù)據(jù)化簡技術1、考察一組變量之間的協(xié)方差或相關系數(shù)結構2、解釋這些變量與為數(shù)較少的因子(即不可觀測

2、的潛變量) 之間的關聯(lián),分類,探索性因子分析( Exploratory Factor Analysis ,EFA) 驗證性因子分析(Confirmatory Factory Analysis ,CFA ） ——也稱為實證性因子分析、證實性因子分析、確定性因子分析) 。,共同點,1、理論基礎：普通因子分析模型2、主要目的：濃縮數(shù)據(jù) ——通過對諸多變量的相關性研究,用假想的少數(shù)幾個變量(因子、潛變量) 來表示原來

3、變量(觀測變量) 的主要信息。,不同,1、基本思想不同因子分析的基本思想是要尋找公共因子,以達到數(shù)據(jù)化簡的目的。探索性因子分析：找出影響觀測變量的因子個數(shù),以及各個因子和各個觀測變量之間的相關程度,以試圖揭示一套相對比較大的變量的內(nèi)在結構。研究者的假定是每個指標變量都與某個因子匹配,而且只能通過因子載荷憑知覺推斷數(shù)據(jù)的因子結構。,驗證性因子：決定事前定義因子的模型擬合實際數(shù)據(jù)的能力,以試圖檢驗觀測變量的因子個數(shù)和因子載荷是否與基于

4、預先建立的理論的預期一致。指標變量是基于先驗理論選出的,而因子分析是用來看它們是否如預期的一樣。先驗假設：每個因子都與一個具體的指示變量子集對應,并且至少要求預先假設模型中因子的數(shù)目,但有時也預期哪些變量依賴哪個因子。,2、應用前提不同探索性因子分析沒有先驗信息,而驗證性因子分析有先驗信息。探索性因子分析是在事先不知道影響因子的基礎上,完全依據(jù)樣本數(shù)據(jù),利用統(tǒng)計軟件以一定的原則進行因子分析,通過因子載荷憑知覺推斷數(shù)據(jù)的因子結構，

5、最后得出因子的過程。適合于在沒有理論支持的情況下對數(shù)據(jù)的試探性分析。這就需要用驗證性因子分析來做進一步檢驗,驗證性因子分析基于預先建立的理論,要求事先假設因子結構,其先驗假設是每個因子都與一個具體的指示變量子集對應,以檢驗這種結構是否與觀測數(shù)據(jù)一致。也就是在上述數(shù)學模型中,首先要根據(jù)先驗信息判定公共因子數(shù)m ,同時還要根據(jù)實際情況將模型中某些參數(shù)設定為某一定值。這樣,驗證性因子分析也就充分利用了先驗信息,在已知因子的情況下檢驗所

6、搜集的數(shù)據(jù)資料是否按事先預定的結構方式產(chǎn)生作用。,3、理論假設不同探索性因子分析的假設主要包括: ①所有的公共因子都相關(或都不相關) ; ②所有的公共因子都直接影響所有的觀測變量; ③特殊(唯一性) 因子之間相互獨立; ④所有觀測變量只受一個特殊(唯一性) 因子的影響; ⑤公共因子與特殊因子(唯一性) 相互獨立。,驗證性因子分析克服了探索性因子分析假設條件約束太強的缺陷,其假設主要包括: ①公共因子之間可以相關,也可以無

7、關; ②觀測變量可以只受一個或幾個公共因子的影響,而不必受所有公共因子的影響; ③特殊因子之間可以相關,還可以出現(xiàn)不存在誤差因素的觀測變量; ④公共因子與特殊因子之間相互獨立,4、分析步驟不同探索性因子分析主要有以下七個步驟: ①收集觀測變量:通常采用抽樣的方法,按照實際情況收集觀測變量數(shù)據(jù)。②構造相關矩陣:根據(jù)相關矩陣可以確定是否適合進行因子分析。③確定因子個數(shù):可根據(jù)實際情況事先假定因子個數(shù),也可以按照特征根大于1 的

8、準則或碎石準則來確定因子個數(shù)。④提取因子:可以根據(jù)需要選擇合適的因子提取方法,如主成分方法、加權最小平方法、極大似然法等。,,⑤因子旋轉:由于初始因子綜合性太強,難以找出實際意義,因此一般都需要對因子進行旋轉(常用的旋轉方法有正交旋轉、斜交旋轉等) ,以便于對因子結構進行合理解釋。⑥解釋因子結構:可以根據(jù)實際情況及負載大小對因子進行具體解釋。⑦計算因子得分:可以利用公共因子來做進一步的研究,如聚類分析、評價等。,驗證性因子分析主要

9、有以下六個步驟: ①定義因子模型:包括選擇因子個數(shù)和定義因子載荷。因子載荷可以事先定為0 、或者其它自由變化的常數(shù),或者在一定的約束條件下變化的數(shù)(比如與另一載荷相等) 。②收集觀測值:根據(jù)研究目的收集觀測值。③獲得相關系數(shù)矩陣:根據(jù)原始資料數(shù)據(jù)獲得變量協(xié)方差陣。④擬合模型:這里需要選擇一種方法(如極大似然估計、漸進分布自由估計等) 來估計自由變化的因子載荷。,⑤評價模型:當因子模型能夠擬合數(shù)據(jù)時,因子載荷的選擇要使模型暗含的相

10、關矩陣與實際觀測矩陣之間的差異最小。常用的統(tǒng)計參數(shù)有:卡方擬合指數(shù)(χ2 ) 、比較擬合指數(shù)(CFI) 、擬合優(yōu)度指數(shù)( GFI) 和估計誤差均方根( RMSEA) 。根據(jù)Bentler(1990) 的建議標準,χ2 ≤3. 0 、CFI ≥0. 90 、GFI ≥0. 85 、RMSE ≤0. 05 ,則表明該模型的擬合程度是可接受的。⑥修正模型:如果模型擬合效果不佳,應根據(jù)理論分析修正或重新限定約束關系,對模型進行修正,以得到最

11、優(yōu)模型。,5、主要應用范圍不同探索性因子分析: ①尋求基本結構,解決多元統(tǒng)計分析中的變量間強相關問題;②數(shù)據(jù)化簡。,驗證性因子分析允許研究者將觀察變量依據(jù)理論或先前假設構成測量模式,然后評價此因子結構和該理論界定的樣本資料間符合的程度。因此,主要應用于以下三個方面: ①驗證量表的維度或面向性( dimensionality) ,或者稱因子結構,決定最有效因子結構; ②驗證因子的階層關系; ③評估量表的信度和效度。,,假設觀

12、測變量之間相關是因為他們共享公因子。,探索性因子分析思路,目的：化簡數(shù)據(jù)方式：研究眾多變量之間的內(nèi)部依賴關系，探求觀測數(shù)據(jù)中的基本結構，并用少數(shù)幾個假想變量（因子）表示基礎數(shù)據(jù)結構實質：研究如何以最少的信息丟失把眾多觀測變量濃縮為少數(shù)幾個因子,將每個觀測變量用一組因子的線性組合表示：xi = ai1 f1 + ai2 f2 + …+ aim fm + ui ( i = 1,2,…,k)(1) f1 ，f2 ，…

13、，fm 叫做公因子(Common factors)，它們是各個觀測變量所共有的因子，解釋了變量之間的相關。(2) ui稱為特殊因子(Unique factor)，它是每個觀測變量所特有的因子，相當于多元回歸中的殘差項，表示該變量不能被公因子所解釋的部分。(3) aij 稱為因子負載(Factor loadings)，它是第i個變量在第j個公因子上的負載，相當于多元回歸分析中的標準回歸系數(shù)（i=1,…,k; j=1,…,m）。,第

14、二節(jié) （探索性）因子分析原理,一、模型,因子分析模型,公因子個數(shù)小于等于觀測變量數(shù),1、因子負載 （factor loading） 反映了因子和變量之間的相關程度，當公因子之間完全不相關時，等于變量和因子之間的相關系數(shù)。,二、概念,大多數(shù)情況下，人們往往假設公因子之間的關系是彼此正交的（orthogonal），即不相關——因子負載不僅表示了觀測變量如何由因子線性表示，而且反映了因子和變量間的相關程度,2、公因子方差(Co

15、mmunality) 又稱共同度、公共方差，指觀測變量方差中由公因子決定的比例。 當公因子之間彼此正交時，公因子方差等于和該變量有關的因子負載的平方和，用公式表示為：hi2 = ai12 + ai22 + … + aim2 （行平均和）,,變量方差＝公因子方差＋特殊因子方差,值越大，變量能被因子說明的程度越高意義：說明如果用公因子替代觀測變量后，原來每個變量的信息被保留的程度,3、因子貢獻(Contribution

16、s) 反映每個公因子對數(shù)據(jù)的解釋能力，用該因子所解釋的總方差來衡量。,,因子貢獻：因子負載列平方和即：數(shù)據(jù)輸出中的特征值,更常用指標：每個因子所解釋的方差（因子貢獻）占所有變量總方差的比例 （即：因子貢獻或特征值除以變量個數(shù)——即總方差，因為標準化變量的標準差和方差均為1）衡量公因子的相對重要性,公因子累積解釋方差比例，判斷因子分析效果,1、檢查相關矩陣是否適合做因子分析（變量間應高度相關 >0.3）2、提取因子

17、3、因子旋轉4、計算因子值,三、因子分析的步驟,變量：間距測度及以上。樣本規(guī)模：至少是變量數(shù)的5倍,判斷數(shù)據(jù)是否適合做 因子分析,1、反映象相關矩陣 (Anti-image correlation matrix)。 其元素等于負的偏相關系數(shù)。2、巴特利特球體檢驗(Bartlett test of sphericity) 零假設為相關矩陣是單位陣（說明變量間不相關）3、KMO (Kaiser-Meyer-

18、Olkin Measure of Sampling Adequacy) 測度。 該測度從比較觀測變量之間的簡單相關系數(shù)和偏相關系數(shù)的相對大小出發(fā)，【0，1】。當所有變量之間的偏相關系數(shù)的平方和，遠遠小于簡單相關系數(shù)的平方和時，KMO值接近1. 0.9以上，非常好; 0.6，差; 0.8以上，好; 0.5，很差; 0.7，一般;

19、 0.5 以下，不能接受,該矩陣中各項值應該比較小。因為這說明變量間存在大量的重疊影響（公因子）,應該通過檢驗,數(shù)(純)量矩陣（標量矩陣）,稱為單位矩陣（或單位陣）.有時也記作E.,為數(shù)量矩陣或標量陣。,當 時，記作,,,,,,第三節(jié) 求解初始因子,目的：確定能夠解釋觀測變量之間相關關系的最小因子個數(shù)主成分分析：獨立的數(shù)據(jù)化簡技術。因子分析將其結果作為初始因子解（特征值）公因

20、子分析：主軸因子法、極大似然法、最小二乘法、alpha法,一、主成分分析法,把給定的一組（k個）相關變量通過線性變換轉換成另一組不相關的變量，這些新的變量按照方差依次遞減的順序排列。轉換中保持變量的總方差不變，使第一個變量具有最大的方差，稱為第一主成分，第二個變量方差次大，且和第一個變量不相關，稱為第二主成分，依次類推，k個變量有k個主成分,1、主成分的幾何意義,最長的軸：第一主成分次長的軸：第二主成分……,2、主成分的求解,數(shù)

21、學工具：特征方程做法：通過求解觀測變量相關矩陣的特征方程，得到k個特征值和對應的k個單位特征向量，把k個特征值從大到小排列，它們分別代表k個主成分所解釋的觀測變量的方差主成分是觀測變量的線性組合，線性組合的權數(shù)即為相應的單位特征向量中的元素,1）特征值準則：保留特征值大于等于1的因子2）碎石檢驗準則（SCREE TEST CRITERION）——因子特征值隨因子個數(shù)變化的散點圖曲線變平開始的前一點被認為是提取的最大因子數(shù)

22、因子累計解釋方差的比例超過70-80%。3）直接指定因子個數(shù)。,3、確定因子個數(shù),二、公因子分析法,從解釋變量的方差出發(fā)，假設變量的方差能完全被主成分所解釋,從解釋變量之間的相關關系出發(fā)，假設觀測變量之間的相關能完全被公因子解釋但變量的方差不一定完全被公因子解釋，這樣每個變量被公因子所解釋的方差不再是1，而是公因子方差求解因子解時，只考慮公因子方差,,主成分法,公因子法,公因子方差的估計主軸因子法最小二乘法最大似然法a因

23、子提取法映象分析法,,,方法選擇,依據(jù)：目的＋對變量方差的了解程度——以最少的因子最大程度地解釋原始數(shù)據(jù)中的方差 / 知道特殊因子和誤差帶來的方差很小 主成分分析法——為了確定數(shù)據(jù)結構，而且并不了解變量方差 公因子分析法,,,,解很接近,第四節(jié) 解釋因子,求得因子解后，大多數(shù)因子都和很多變量有關，無法很好地說明其實際含義,,一、思路,因子旋轉的目的: 通過改變坐標軸的位置，重新分配各個因子所解釋的方差的比例，使因子

24、結構更簡單，更易于解釋。 因子旋轉不改變模型對數(shù)據(jù)的擬合程度，不改變每個變量的公因子方差,因子旋轉方法 Rotation,正交旋轉(Orthogonal Rotation): 因子軸之間仍然保持90度角，即因子之間是不相關的。斜交旋轉（Oblique Rotation): 因子軸之間不必是90度角，即因子之間可以是相關的。,,四次方最大法－QUARTIMAX

25、 方差最大法－VARIMAX 等量最大法－EQUIMAX,二、正交旋轉方法,目標：簡化因子負載矩陣的行和列，使因子負載向0,1兩極分化,,因子模式和因子結構因子模式(Factor pattern)矩陣：因子負載矩陣因子結構(Factor structure)矩陣：因子和變量之間的相關矩陣。 在斜交旋轉中，因子負載不

26、再等于因子和變量之間的相關系數(shù)，因子結構和因子模式之間是有區(qū)別的。二者關系： S = BWS 因子結構矩陣B 因子模式矩陣W 斜交因子之間的相關系數(shù)矩陣斜交因子解,三、斜交旋轉方法,數(shù)據(jù)化簡，把很多變量濃縮成少數(shù)幾個因子，對因子的確切含義不在意——正交旋轉得到理論上有意義的因子——斜交,四、選擇旋轉方法,理論上斜交優(yōu)于正交但實際上正交應用更為廣泛默認：方差最大法,做法：從簡化因子負載矩

27、陣的每列出發(fā)，使和每個因子有關的負載平方的方差最大意義：希望通過因子旋轉后，使每個因子上的負載盡可能地拉開距離，趨于0或1,得到最后因子解后，我們希望給每個因子一個有意義的解釋。解釋因子主要是借助于因子負載矩陣，首先找出在每個因子上有顯著負載的變量，根據(jù)這些變量的意義給因子一個合適的名稱，具有較高負載的變量對因子名稱的影響更大。實際中，一般認為絕對值大于0.3 的因子負載就是顯著的。,四、解釋因子,因子值(Factor sc

28、ores)： 因子在每個樣本案例上的值。,xji是第j個變量在第i個案例上的值，wpj是第p個因子和第j個變量之間的因子值系數(shù),第五節(jié) 因子值及其應用,有了因子值，就可以把因子作為變量來用，進行其他的統(tǒng)計分析,,,理解,因子分析模型是用因子的線性組合來表示一個觀測變量，因子負載是該線性組合的權數(shù)（標準化回歸系數(shù)）求因子值的過程正好相反，它通過觀測變量的線性組合來表示因子，因子值是觀測變量的加權平均。因為各個變量在因