一、只差一票,結果竟然不一樣?
天龍里長最近為了爭取改善社區運動設施的經費,找來均富里長協助設計居民意見調查。「這次不只要問居民支不支持,還要用統計學看看,能不能合理推論全里的意見!」她信心滿滿。「很好啊,這次總算不是只看誰在里民群組喊得最大聲了。」均富里長笑著說。
兩人設計一個簡化的假設案例:從全里隨機抽取30人,詢問是否支持增設運動設施。為了比較檢定結果,他們設定兩種不同情境:20人支持,或21人支持。這不是同一份調查中途更改資料,而是兩個獨立的假設結果。
「20個人支持,樣本支持率66.7%!」天龍里長說。「那可以說全里過半的人支持嗎?」「受訪者中確實過半;要推論全里,還得考慮抽樣的不確定性。」
以母體支持率50%為虛無假設,使用雙側比例分數檢定,20/30的p值約為0.0679,未跨過預先設定的0.05顯著門檻。若換成21/30,樣本支持率70%,p值約為0.0285,達到統計顯著。
「就多一個人支持,統計學就突然同意了?!」天龍里長瞪大眼睛。均富里長笑了:「這就是今天要討論的問題。」
二、假設檢定:先設定假設,再看看資料有多意外
假設檢定(Hypothesis Testing)不是直接問「我們想要的答案對不對」,而是先設定一個可以接受檢驗的統計假設,再觀察資料與它是否相容。
這裡的虛無假設(Null Hypothesis,H₀)是母體支持率等於50%,寫成H₀:π = 0.50;對立假設(Alternative Hypothesis,H₁)是母體支持率不等於50%,寫成H₁:π ≠ 0.50。π代表母體支持率,和稍後介紹的p值不同。
「可是我們想知道是否超過一半,為什麼還要考慮低於一半?」天龍里長問。「如果研究開始前明確設定『是否高於50%』,可以考慮單側檢定;但不能看見結果後,才為了顯著而改變方向。」檢定方法必須由研究問題與事先規劃決定。
在虛無假設成立的前提下,我們要問:如果全里真正只有一半的人支持,那麼隨機抽取30人,得到目前這樣或更極端的結果,究竟有多不尋常?這時候,p值就登場了。
三、p值是什麼?不是「結論出錯的機率」
「我知道了!p = 0.0285,就是我們的結論只有2.85%的機率是錯的!」天龍里長說。均富里長搖頭:「這是常見誤解。」
p值(p-value)是指:在虛無假設成立、所使用的統計模型及其假設適當的條件下,觀察到目前結果或更極端的檢定統計量,其機率有多大。
因此,21/30的雙側比例分數檢定p值約0.0285,表示在相應近似模型下,若真實支持率為50%,得到像目前這樣或更極端的結果,其機率約為2.85%。它不是「虛無假設只有2.85%的機率為真」,也不是「研究結論有97.15%的機率正確」,更不是「政策有97.15%的成功機率」。
還要注意檢定方法的差異。雙側比例分數檢定使用常態近似;雙側精確二項檢定(Exact Binomial Test)則依二項分布計算。兩者的p值不完全相同:
| 支持人數 | 雙側比例分數檢定 | 雙側精確二項檢定 |
|---|---|---|
| 20/30 | 0.0679 | 0.0987 |
| 21/30 | 0.0285 | 0.0428 |
四、為什麼大家都在意0.05?
「0.049跟0.051呢?只差一點點,世界就不一樣了?」天龍里長問。「當然不是。」均富里長回答。
顯著水準(Significance Level,α)是事先設定的判斷門檻。常見α = 0.05,表示在虛無假設成立、檢定假設適當且程序正確執行時,長期重複檢定的第一型錯誤率控制在5%以內。
但0.05不是自然界的神奇分界線。p = 0.049與p = 0.051的證據強度非常接近,卻會在二分決策規則下被分到不同類別。
「所以不是0.049就是真理、0.051就是廢紙?」「當然不是!」
就像考試設定60分及格,59分與60分的學生,能力未必存在明顯差距;但制度有時需要事先明確的判斷規則。跨過門檻,是統計程序的判斷;證據有多強,仍需要完整解讀。
五、沒有達到顯著,不代表沒有差異
「所以20個人支持,p = 0.0679,就表示全里支持率真的只有50%?」天龍里長問。「不是。」「那表示沒有差異?」「也不能這樣說。」
未達顯著的精確說法是:目前資料尚不足以在該檢定標準下拒絕虛無假設。這不等於證明虛無假設成立,更不等於證明母體完全沒有差異。
20/30的樣本支持率仍是66.7%,只是30人的資訊量有限,在這次雙側檢定下,尚未跨過0.05門檻。樣本數有限時,即使樣本支持率看來不低,也可能因估計不確定性較大而未達顯著。
反過來說,顯著也不代表實務重要。例如,等待時間從30分鐘降到29分50秒,在極大樣本下可能達到顯著,但是否值得投入大量經費,仍需管理判斷;平均減少10分鐘可能很有價值,卻也可能因樣本太少而未達顯著。因此除了p值,還要看效果大小、估計精確度與真實生活的意義。
六、信賴區間:除了問有沒有差異,也看看可能範圍
「有沒有辦法不要只看顯著或不顯著?」天龍里長問。「有啊,前一篇才學過信賴區間!」均富里長說。
以95% Wilson信賴區間比較兩種情境:
| 情境 | 樣本支持率 | 95% Wilson區間 | 分數檢定p值 |
|---|---|---|---|
| 20/30 | 66.7% | 48.8%~80.8% | 0.0679 |
| 21/30 | 70.0% | 52.1%~83.3% | 0.0285 |
20/30的區間包含50%,21/30則沒有。這裡使用的Wilson區間與比例分數檢定相互對應,因此顯著性判斷一致。但21/30的區間仍很寬,提醒我們估計有不確定性。
「所以資料支持全里過半居民贊成,卻不能直接說全里一定有70%支持?」天龍里長問。「正確。」
95%信賴區間也不是「這一次算出的區間有95%的機率包含真實支持率」。在傳統頻率學派架構下,母體參數固定、區間隨抽樣改變;若同一方法反覆抽樣建立區間,長期而言約95%的區間會涵蓋固定參數(實際涵蓋率仍取決於方法及條件)。p值與信賴區間各自回答不同問題,合在一起看更有意義。
七、統計檢定也會犯錯:第一型與第二型錯誤
「如果檢定說有差異,結果其實沒有呢?」「這是第一型錯誤(Type I Error):虛無假設成立時卻錯誤拒絕。」「如果真的有差異,檢定卻沒發現?」「那是第二型錯誤(Type II Error):虛無假設不成立時卻未能拒絕。」
兩種錯誤都值得重視。過度容易宣稱有差異,可能增加錯誤警報;標準太嚴格或樣本不足,則可能錯失真正重要的效果。
檢定力(Statistical Power)是指在特定真實效果、樣本數與檢定條件下,正確拒絕虛無假設的機率。其他條件相同時,增加樣本數通常有助於提高偵測特定效果的能力,但不是所有研究都應無限制擴大樣本;設計、測量品質與研究目的同樣重要。
「所以統計學不是保證我們不犯錯,而是讓我們知道可能犯什麼錯,怎麼合理控制風險?」「這就對了。」
八、統計顯著了,難道還要研究十年?
「我們已經知道21/30支持,樣本支持率70%,p值也小於0.05,可以向公所提出建議了吧?」天龍里長問。「可以啊!」均富里長回答。
「咦?你怎麼答應得這麼快?你剛才不是一直說抽樣誤差、研究限制和決策風險?」
「因為如果抽樣設計合理、問卷清楚、分析適當,我們已經有理由把這份結果當成推動下一步的證據。統計學不是拿來阻止做事的。」
「難道我們要研究十年,才可以蓋一座運動設施嗎?!」天龍里長忍不住喊。🤣
證據需要多充分,取決於要做什麼。增加簡易器材、試辦社區運動課程,成本有限且可以調整,現有調查可能足以支持啟動規劃;但若拆除建築、投入數億元興建大型運動中心,仍需評估土地、預算、長期維護、需求及替代方案。
證據需要多充分,應與決策的重要性、成本及可逆性相稱。目前統計證據可以支持進入下一階段,不代表已完成所有重大投資決策所需的評估。
而且,不行動也有成本。如果年復一年要求更多調查,居民需求始終無法改善,等待本身就可能造成損失。循證管理不是永遠追求更多資料,而是判斷目前證據是否足以支持下一步,繼續蒐集資料的價值是否值得時間與成本。風險可控時,先試辦、再觀察、持續修正,也是合理策略。
九、AI會幫你算p值,但誰來決定下一步?
下午,天龍里長抱著筆電走進辦公室。「現在AI太方便了!輸入30人、21人支持,它就能算p值、信賴區間,甚至寫研究報告!以後是不是不用學統計?」
均富里長笑了:「那我問妳,p = 0.0285代表什麼?」「現在知道了!」「如果AI選錯檢定方法?」「我得看得出來。」「如果抽樣有偏誤?」「算得再漂亮也沒用。」「如果顯著,但政策成本很高?」「要進一步做管理判斷。」
AI可以協助整理資料、計算、比較分析方法及模擬結果,但研究問題是否合理、資料是否可信、方法是否適當,以及結果能否支持行動,仍需要人的專業判斷。
尤其醫療照護、教育、身心障礙支持與公共政策,涉及的不只是數字,還有服務需求、倫理、資源配置與行動後果。
「所以AI不是讓我們不用思考,而是讓我們有更多時間思考真正重要的問題。」「說得好。」
十、統計學的下一棒,交給管理學
傍晚,兩位里長終於整理好調查報告。
「所以,21個人支持,統計也顯著了,我們可以開始做事了吧?」天龍里長問。
「當然可以。在我們設定的條件下,證據已經足以支持進入下一階段。」
「那下一階段還要算什麼?」
「這時候,不一定要繼續算了。」
「咦?!」
均富里長笑了。
「統計學幫我們判斷證據,管理學幫我們決定行動。」
天龍里長終於鬆了一口氣。
「太好了!不然運動中心還沒蓋,我們兩個就先退休了!」🤣
