數(shù)據(jù)分析方法假設(shè)檢驗

1、假設(shè)檢驗,在假設(shè)檢驗中，一般要設(shè)立一個原假設(shè)；而設(shè)立該假設(shè)的動機主要是企圖利用人們掌握的反映現(xiàn)實世界的數(shù)據(jù)來找出假設(shè)和現(xiàn)實的矛盾，從而否定這個假設(shè)。,假設(shè)檢驗,在多數(shù)統(tǒng)計教科書中（除了理論探討之外）,假設(shè)檢驗都是以否定原假設(shè)為目標。如否定不了，那就說明證據(jù)不足，無法否定原假設(shè)。但這不能說明原假設(shè)正確。,假設(shè)檢驗的過程和邏輯,首先要提出一個原假設(shè)，比如某正態(tài)總體的均值等于5（m=5）。這種原假設(shè)也稱為零假設(shè)（null hypothesis

2、），記為H0與此同時必須提出對立假設(shè)，比如總體均值大于5（m>5）。對立假設(shè)又稱為備選假設(shè)或備擇假設(shè)（alternative hypothesis）記為記為H1或Ha,假設(shè)檢驗的過程和邏輯,根據(jù)零假設(shè)（不是備選假設(shè)?。?，我們可以得到該檢驗統(tǒng)計量的分布；然后再看這個統(tǒng)計量的數(shù)據(jù)實現(xiàn)值（realization）屬不屬于小概率事件。也就是說把數(shù)據(jù)代入檢驗統(tǒng)計量，看其值是否落入零假設(shè)下的小概率范疇。如果的確是小概率事件，那么我們就有可能

3、拒絕零假設(shè)，否則我們說沒有足夠證據(jù)拒絕零假設(shè)。,假設(shè)檢驗的過程和邏輯,注意：零假設(shè)和備選假設(shè)在我們涉及的假設(shè)檢驗中并不對稱。檢驗統(tǒng)計量的分布是從零假設(shè)導出的, 因此, 如果有矛盾, 當然就不利于零假設(shè)了。不發(fā)生矛盾也不說明備選假有問題。,假設(shè)檢驗的過程和邏輯,檢驗統(tǒng)計量在零假設(shè)下,這個樣本的數(shù)據(jù)實現(xiàn)值的概率稱為p-值（p-value）。顯然得到很小p-值意味著小概率事件發(fā)生了。如果小概率事件發(fā)生，是相信零假設(shè)，還是相信數(shù)據(jù)呢？當然是相

4、信數(shù)據(jù)。于是就拒絕零假設(shè)。但事件概率小并不意味著不會發(fā)生，僅僅發(fā)生的概率很小罷了。拒絕正確零假設(shè)的錯誤常被稱為第一類錯誤（type I error）。,假設(shè)檢驗的過程和邏輯,不僅有第一類錯誤，還有第二類錯誤；那是備選零假設(shè)正確時反而說零假設(shè)正確的錯誤，稱為第二類錯誤（type II error）。如要“接受零假設(shè)”就必須給出第二類錯誤的概率. 但對于目前面對的問題, 無法計算它.,假設(shè)檢驗的過程和邏輯,零假設(shè)和備選假設(shè)哪一個正確，這是確

5、定性的，沒有概率可言。而可能犯錯誤的是人。涉及假設(shè)檢驗的犯錯誤的概率就是犯第一類錯誤的概率和犯第二類錯誤的概率。負責的態(tài)度是無論做出什么決策，都應(yīng)該給出犯錯誤的概率。,假設(shè)檢驗的過程和邏輯,到底p-值是多小才能夠拒絕零假設(shè)呢？也就是說，需要有什么是小概率的標準。這要看具體應(yīng)用的需要。但在一般的統(tǒng)計書和軟件中，使用最多的標準是在零假設(shè)下（或零假設(shè)正確時）抽樣所得的數(shù)據(jù)拒絕零假設(shè)的概率應(yīng)小于0.05（也可能是0.01，0.005，0.0

6、01等等）。,假設(shè)檢驗的過程和邏輯,這種事先規(guī)定的概率稱為顯著性水平(significant level)，用字母a來表示。當p-值小于或等于a時，就拒絕零假設(shè)。所以，a是所允許的犯第一類錯誤概率的最大值。當p-值小于或等于a時，我們說這個檢驗是顯著的(significant)。,假設(shè)檢驗的過程和邏輯,歸納起來，假設(shè)檢驗的邏輯步驟為：第一: 寫出零假設(shè)和備選假設(shè)；第二: 確定檢驗統(tǒng)計量；第三: 確定顯著性水平a；第四: 根據(jù)數(shù)據(jù)

7、計算檢驗統(tǒng)計量的實現(xiàn)值；第五: 根據(jù)這個實現(xiàn)值計算p-值；第六: 進行判斷：如果p-值小于或等于a，就拒絕零假設(shè)，這時犯錯誤的概率最多為a；如果p-值大于a，就不拒絕零假設(shè)，因為證據(jù)不足。,假設(shè)檢驗的過程和邏輯,實際上，計算機軟件僅僅給出p-值，而不給出a。這有很多方便之處。比如a=0.05，而假定我們得到的p-值等于0.001。這時我們?nèi)绻绻捎胮-值作為新的顯著性水平，即a=0.001，于是可以說，我們拒絕零假設(shè)，顯著性水平為

8、0.001。拒絕零假設(shè)時犯錯誤的概率實際只是千分之一而不是百分之五。在這個意義上，p-值又稱為觀測的顯著性水平（observed significant level）。在統(tǒng)計軟件輸出p-值的位置，有的用“p-value”，有的用significant的縮寫“Sig”就是這個道理。,假設(shè)檢驗的過程和邏輯,關(guān)于“臨界值”的注：作為概率的顯著性水平a實際上相應(yīng)于一個檢驗統(tǒng)計量取值范圍的一個臨界值（critical value），它定義為，統(tǒng)

9、計量取該值或更極端的值的概率等于a。也就是說，“統(tǒng)計量的實現(xiàn)值比臨界值更極端”等價于“p-值小于a”。使用臨界值的概念進行的檢驗不計算p-值。只比較統(tǒng)計量的取值和臨界值的大小。,假設(shè)檢驗的過程和邏輯,使用臨界值而不是p-值來判斷拒絕與否是前計算機時代的產(chǎn)物。當時計算p-值不易，只有采用臨界值的概念。但從給定的a求臨界值同樣也不容易，好在習慣上僅僅在教科書中列出相應(yīng)于特定分布的幾個有限的a臨界值（比如a=0.05，a=0.025，a=0

10、.01，a=0.005，a=0.001等等），或者根據(jù)分布表反過來查臨界值（很不方便也很粗糙）。 現(xiàn)在計算機軟件都不給出a和臨界值，但都給出p-值和統(tǒng)計量實現(xiàn)值，讓用戶自己決定顯著性水平是多少。,假設(shè)檢驗的例子,例6.1（數(shù)據(jù)：sugar.txt, sugar.sav, sugar.sas7bdat）一個顧客買了一包標有500g重的一包紅糖，覺得份量不足，于是找到監(jiān)督部門；當然他們會覺得一包份量不夠可能是隨機的。于是監(jiān)督

11、部門就去商店稱了50包紅糖；得到均值（平均重量）是498.35g；這的確比500g少，但這是否能夠說明廠家生產(chǎn)的這批紅糖平均起來不夠份量呢？首先，可以畫出這些重量的直方圖（圖6.1）。這個直方圖看上去象是正態(tài)分布的樣本。于是不妨假定這一批袋裝紅糖呈正態(tài)分布。,su=scan("D:/booktj1/data/sugar.txt");hist(su),假設(shè)檢驗的例子,檢驗統(tǒng)計量為（為什么用這個？）,這次我們的假設(shè)檢驗問

12、題就是,> t.test(su,m=500,alt="less") One Sample t-testdata: su t = -2.6962, df = 49, p-value = 0.004793alternative hypothesis: true mean is less than 500 95 percent confidence interval: -Inf 4

13、99.3749 sample estimates:mean of x 498.3472,,SPSS,p-value = 0.004793=0.009586/2,假設(shè)檢驗的例子,例.汽車廠商聲稱其發(fā)動機排放標準的一個指標平均低于20個單位。在抽查了10臺發(fā)動機之后，得到下面的排放數(shù)據(jù)：17.0、21.7、17.9、22.9、20.7、22.4、17.3、21.8、24.2、25.4。該樣本均值為21.13。究竟能否由此認為該指標均

14、值超過20？這次我們的假設(shè)檢驗問題就是,假設(shè)檢驗的例子,檢驗統(tǒng)計量為我們可以發(fā)現(xiàn)p-值為0.1243，因此，我們沒有證據(jù)否定零假設(shè)(如果顯著性水平小于它)。,為什么不能“接受零假設(shè)”,其實可以，比如下面兩種情況：1. 備選假設(shè)也是單點分布，這時可以負責地算出犯第二類錯誤的概率。2. 貝葉斯檢驗情況（這是一種決策觀點）但在經(jīng)典統(tǒng)計中的絕大多數(shù)情況都不可以。,從一個例子看“接受零假設(shè)”,（數(shù)據(jù) rice.sav）一個大米加

15、工廠賣給一個超市一批標明10kg重的大米。而該超市懷疑該廠家缺斤短兩，對10包大米進行了稱重，得到下面結(jié)果（單位：千克）9.93 9.83 9.76 9.95 10.07 9.89 10.03 9.97 9.89 9.87這里假定打包的大米重量服從正態(tài)分布。由于發(fā)生分歧，于是各方同意用這個數(shù)據(jù)進行關(guān)于大米重量均值m的t檢驗；以廠家所說的平均重量為10kg作為零假設(shè)，而以超市懷疑的份量不足10kg作為備選假設(shè)：,1.超市的檢驗,于是

16、，超市、加工廠老板和該老板的律師都進行了檢驗。結(jié)果是：超市用全部數(shù)據(jù)進行t檢驗，得到拒絕零假設(shè)的結(jié)論。他們根據(jù)計算得到：樣本均值為9.92kg，而p-值為0.0106。因此超市認為，對于顯著性水平a=0.05，應(yīng)該拒絕零假設(shè)。,2. 加工廠老板的檢驗,大米加工廠老板只用2個數(shù)據(jù)，得到“接受零假設(shè)”的結(jié)論。大米加工廠老板也懂些統(tǒng)計，他只取了上面樣本的頭兩個個數(shù)目9.93和9.83進行同樣的t檢驗。通過對這兩個數(shù)進行計算得到：樣本均

17、值為9.88kg, 而p-值為0.1257. 雖然樣本均值不如超市檢驗的大, 但p-值大大增加。加工廠老板于是下了結(jié)論：對于水平a＝0.05，“接受零假設(shè)”，即加工廠的大米平均重量的確為10kg。,3.加工廠老板律師的檢驗,大米加工廠老板的律師用了全部數(shù)據(jù)，但不同的檢驗方法，得到“接受零假設(shè)”的結(jié)論。大米加工廠老板的律師說可以用全部數(shù)據(jù)。他利用對于連續(xù)變量比例的檢驗，也就是關(guān)于中位數(shù)的符號檢驗（注意對于正態(tài)分布，對中位數(shù)的檢驗等價于

18、對均值的檢驗）。根據(jù)計算，得到該檢驗的p-值為0.0547。所以這個律師說在顯著性水平a=0.05時，應(yīng)該“接受零假設(shè)”。還說，“既然三個檢驗中有兩個都接受零假設(shè)，就應(yīng)該接受?！?如何評價？,加工廠老板實際上減少了作為證據(jù)的數(shù)據(jù)，因此只得到“證據(jù)不足，無法拒絕零假設(shè)”的結(jié)論。但加工廠老板把“證據(jù)不足以拒絕零假設(shè)”改成“接受零假設(shè)”了。而且，從樣本中僅選擇某些數(shù)目（等于銷毀證據(jù)）違背統(tǒng)計道德。 律師雖然用了全部數(shù)據(jù)，但

19、用了不同的方法。他也只能夠說“在這個檢驗方法下，證據(jù)不足以拒絕零假設(shè)”而不能說“接受零假設(shè)”。另外，律師對超市用更有效的檢驗方法得到的“拒絕零假設(shè)”的結(jié)論視而不見，這也違背了統(tǒng)計原理。 對于同一個檢驗問題，可能有多種檢驗方法。但只要有一個拒絕，就應(yīng)該拒絕。那些不能拒絕的檢驗方法是能力不足。用統(tǒng)計術(shù)語來說，是勢（power）不足，或者效率（efficiency）低。,關(guān)于例6.7的總結(jié),1.在已經(jīng)得到樣本的情況下，隨意舍取一些

20、數(shù)目是違背統(tǒng)計原理和統(tǒng)計道德的。這相當于篡改或毀滅證據(jù)。2.由于證據(jù)不足而不能拒絕零假設(shè)絕對不能說成“接受零假設(shè)”。如果一定要說，請給出你接受零假設(shè)所可能犯第二類錯誤的概率（這是無法算出的）。這是加工廠老板和律師所犯的錯誤。3.例中律師的檢驗和超市所做的檢驗都針對同樣的檢驗問題，但由于超市的檢驗方法比律師的檢驗更強大（或更強勢，more powerful，更有效率，more efficient），所以超市拒絕了零假設(shè)，而律師的檢驗則

21、不能拒絕。如果有針對同一檢驗問題的許多檢驗方法，那么，只要有一個拒絕，就必須拒絕。絕對不能“少數(shù)服從多數(shù)”，也不能“視而不見”。,以關(guān)于均值的t檢驗為例；實際上，只要零假設(shè)的均值和樣本均值的確不一樣，那么根據(jù)檢驗統(tǒng)計量的公式可以看出，如果樣本量不斷增大，就必然會拒絕零假設(shè)。當然，對于效率較低的檢驗，要拒絕零假設(shè)所需要的樣本量較大。,關(guān)于正態(tài)性的檢驗,1.Shapiro正態(tài)性檢驗：原假設(shè)：數(shù)據(jù)來自正態(tài)性總體x=scan(“sugar

22、.txt”)Shapiro.test(x),關(guān)于正態(tài)性的檢驗,2.正態(tài)QQ圖：用樣本分位數(shù)與正態(tài)分位數(shù)做散點圖。qqnorm(x)qqline(x),雙正態(tài)總體均值差的檢驗,關(guān)于兩個獨立總體均值的差異的假設(shè)檢驗,雙正態(tài)總體均值差的檢驗,例.（數(shù)據(jù)drug.txt）為檢測某種藥物對攻擊性情緒的影響，對處理組的100名服藥者和對照組的150名非服藥者進行心理測試，得到相應(yīng)的某指標.人們要檢驗處理組指標的均值是否大于對照組的均值.,雙

23、正態(tài)總體均值差的檢驗,> t.test(x,y,alt="greater") Welch Two Sample t-testdata: x and yt = 0.94456, df = 231.72, p-value = 0.1729alternative hypothesis: true difference in means is greater than 095 percent

24、confidence interval: -0.3742108 Infsample estimates:mean of x mean of y 8.60202 8.10200,成對樣本的問題,例. （數(shù)據(jù)diet.txt）有兩列50對減肥數(shù)據(jù)，分別是減肥前后的重量數(shù)據(jù)。人們希望比較50個人在減肥前后的重量。這樣的兩個樣本，不能用前面的獨立樣本均值差的檢驗，因為每一個人減肥后的重量都和自己減肥前的重量有關(guān)，所

25、以不獨立，但不同人之間卻是獨立的。 令所有個體減肥前后重量差的均值為 ，,成對樣本的問題,t.test(xx,yy,alt="greater",pair=T) Paired t-testdata: xx and yyt = 3.355, df = 49, p-value = 0.0007694alternative hypothesis: true difference in me

26、ans is greater than 095 percent confidence interval: 0.9405451 Infsample estimates:mean of the differences 1.88,總體比例的檢驗,例.對于電視節(jié)目，收視率是個重要的指標。一個對1500人的電話調(diào)查表明，在某一節(jié)目播出的時候，被訪的正在觀看電視的人中有23%的正在觀看這個

27、節(jié)目。現(xiàn)在想知道，這是否和該節(jié)目的制作人所期望的25%的收視率有顯著不足。,總體比例的檢驗,> binom.test(0.23*1500,1500,0.25,alt="less") Exact binomial testdata: 0.23 * 1500 and 1500number of successes = 345, number of trials = 1500, p-value

28、=0.03837alternative hypothesis: true probability of success is less than 0.2595 percent confidence interval: 0.0000000 0.2485905sample estimates:probability of success 0.23,兩個總體比例差的檢驗,例.如果節(jié)目甲的樣本收視

29、率為20%，樣本量為1200.節(jié)目乙的收視率為21%，樣本量為1300.是不是節(jié)目甲的收視率就真的低于節(jié)目乙？,兩個總體比例差的檢驗,> binom.test(c(0.2*1200,0.21*1300),c(1200,1300),alt="less") Exact binomial testdata: c(0.2 * 1200, 0.21 * 1300)number of successe

30、s = 240, number of trials = 513, p-value = 0.07882alternative hypothesis: true probability of success is less than 0.595 percent confidence interval: 0.0000000 0.5051157sample estimates:probability of success

31、 0.4678363,連續(xù)變量比例的檢驗,有時需要檢驗收入低于某個水平的人占有的比例是否和預(yù)期的一致。這里只要把大于某水平的觀測值看作貝努力實驗的“成功”，而把小于某水平的觀測值看成“失敗”，就回到二項分布了。,連續(xù)變量比例的檢驗,例. （數(shù)據(jù)life.txt）某微生物的壽命問題，這里有某微生物在一種污染環(huán)境下生存的壽命數(shù)據(jù)，問題是存活時間低于2小時的是否少于70%。,連續(xù)變量比例的檢驗,> binom.test(s

32、um(x<2),60,0.7,alt="greater") Exact binomial testdata: sum(x < 2) and 60number of successes = 52, number of trials = 60, p-value = 0.002208alternative hypothesis: true probability of success i