林德利悖論(Lindley's paradox)
統計工具是用來協助我們製定決策的利器之一,但是如果有兩種統計方式對同一組資料進行假設檢定之後,卻會得到完全相反的結果,豈不是令人昏倒?不要笑,著名的「林德利悖論」內容就是這樣。
「林德利(Lindley)悖論」最早是由學者哈羅德‧傑佛里斯(Harold Jefferys)於1939年所提出,後來被「貝葉斯推論(Bayesian Methods)」的傳教士丹尼斯‧林德利(Dennis Lindley)在1957年的一篇論文中,稱為「悖論」而得名。
所謂「林德利悖論」是指,有時候,利用「頻率推論」與「貝葉斯推論」對同一個資料集進行假設檢定,最終卻產生相反的結果。它也在統計圈內素負惡名的奇怪現象,即資料愈大,用來檢定出「純屬僥倖」顯著性測試的效果就越差。
維基百科上提到一個故事。某年在某一個城市分別有49,581名男孩和48,870名女孩出生。男孩佔全體嬰兒的佔例為49,581/98,451 ≈ 0.5036。現在要檢驗男嬰佔比是否為0.5。從統計學者的觀點,這個問題有兩種解法:
一、頻率推論
頻率推論所用的方法是計算 p 值。H0:男孩佔比等於0.5;H1:男孩佔比不等於0.5。因為出生人數很多,可以對男孩出生的比例假設為常態分配,再計算P值等於0.0235,小於顯著性水準α(0.05)。因此,根據頻率推論所得到的結果為拒絕H0,認為男孩佔比不等於0.5。
二、貝葉斯推論
貝葉斯推論是先分配男孩佔比的先驗機率為0.5,根據貝葉斯公式算得男孩佔比是0.5,再透過貝氏定理計算出後驗機率是0.95。此結果支持H0。在同樣的資料下,頻率推論和貝葉斯推論竟然會得到相互違背的結論,兩種方法看似衝突,而這就是「林德利悖論」。
事實上,造成頻率推論與貝葉斯推論之所以會有不同結果,並不是兩種方法之間的分歧,而是應該使用它們來回答不同的問題。在應用統計工具時,一開始就先應釐清所欲解決的問題為何,並選擇適合的分析方法,而非拿到資料之後,才思考該用哪種方法進行分析。
至於頻率推論與貝葉斯推論的適用情境,請參考我們之前的文章〈頻率推論vs.貝葉斯推論〉中,頻率推論與貝葉斯推論之比較圖,如圖1所示。
作者:羅凱揚(台科大企管系博士)、蘇宇暉(台科大管研所博士候選人)
繪圖者:彭煖蘋