跳至主要內容
EDUCATION × STATISTICAL LITERACY

只差一票,結論就不同?——從假設檢定到p值,理解統計顯著性的真相

說故事學統計⑥|一票之差,從統計顯著走向循證管理

陳威勝 · Allen Mind Lab · 2026.11.10
進入 Education 特色館
AML第96篇海報:均富里長與天龍里長比較20人與21人支持的統計顯著性。

一、只差一票,結果竟然不一樣?

天龍里長最近為了爭取改善社區運動設施的經費,找來均富里長協助設計居民意見調查。「這次不只要問居民支不支持,還要用統計學看看,能不能合理推論全里的意見!」她信心滿滿。「很好啊,這次總算不是只看誰在里民群組喊得最大聲了。」均富里長笑著說。

兩人設計一個簡化的假設案例:從全里隨機抽取30人,詢問是否支持增設運動設施。為了比較檢定結果,他們設定兩種不同情境:20人支持,或21人支持。這不是同一份調查中途更改資料,而是兩個獨立的假設結果。

「20個人支持,樣本支持率66.7%!」天龍里長說。「那可以說全里過半的人支持嗎?」「受訪者中確實過半;要推論全里,還得考慮抽樣的不確定性。」

以母體支持率50%為虛無假設,使用雙側比例分數檢定,20/30的p值約為0.0679,未跨過預先設定的0.05顯著門檻。若換成21/30,樣本支持率70%,p值約為0.0285,達到統計顯著。

「就多一個人支持,統計學就突然同意了?!」天龍里長瞪大眼睛。均富里長笑了:「這就是今天要討論的問題。」

二、假設檢定:先設定假設,再看看資料有多意外

假設檢定(Hypothesis Testing)不是直接問「我們想要的答案對不對」,而是先設定一個可以接受檢驗的統計假設,再觀察資料與它是否相容。

這裡的虛無假設(Null Hypothesis,H₀)是母體支持率等於50%,寫成H₀:π = 0.50;對立假設(Alternative Hypothesis,H₁)是母體支持率不等於50%,寫成H₁:π ≠ 0.50。π代表母體支持率,和稍後介紹的p值不同。

「可是我們想知道是否超過一半,為什麼還要考慮低於一半?」天龍里長問。「如果研究開始前明確設定『是否高於50%』,可以考慮單側檢定;但不能看見結果後,才為了顯著而改變方向。」檢定方法必須由研究問題與事先規劃決定。

在虛無假設成立的前提下,我們要問:如果全里真正只有一半的人支持,那麼隨機抽取30人,得到目前這樣或更極端的結果,究竟有多不尋常?這時候,p值就登場了。

三、p值是什麼?不是「結論出錯的機率」

「我知道了!p = 0.0285,就是我們的結論只有2.85%的機率是錯的!」天龍里長說。均富里長搖頭:「這是常見誤解。」

p值(p-value)是指:在虛無假設成立、所使用的統計模型及其假設適當的條件下,觀察到目前結果或更極端的檢定統計量,其機率有多大。

因此,21/30的雙側比例分數檢定p值約0.0285,表示在相應近似模型下,若真實支持率為50%,得到像目前這樣或更極端的結果,其機率約為2.85%。它不是「虛無假設只有2.85%的機率為真」,也不是「研究結論有97.15%的機率正確」,更不是「政策有97.15%的成功機率」。

還要注意檢定方法的差異。雙側比例分數檢定使用常態近似;雙側精確二項檢定(Exact Binomial Test)則依二項分布計算。兩者的p值不完全相同:

支持人數雙側比例分數檢定雙側精確二項檢定
20/300.06790.0987
21/300.02850.0428
在0.05的標準下,兩種方法的分類一致:20人未達顯著,21人達到顯著。但研究問題、資料特性與方法選擇都會影響解讀。

20人與21人支持時,雙側比例分數檢定p值比較30人中20人支持,支持率66.7%,p值0.0679,大於0.05;21人支持,支持率70%,p值0.0285,小於0.05。圖表使用雙側比例分數檢定,不代表證據存在突然的跳躍。只差一票,p值跨過0.0520 / 30(66.7%)0.067921 / 30(70.0%)0.0285α = 0.0500.050.10門檻協助判斷,但不代表證據強度在0.05兩側突然斷裂。
圖1|兩個獨立假設情境;橫條長度代表雙側比例分數檢定的p值,虛線為事先設定的α = 0.05。不是「多一票就證明政策正確」。

四、為什麼大家都在意0.05?

「0.049跟0.051呢?只差一點點,世界就不一樣了?」天龍里長問。「當然不是。」均富里長回答。

顯著水準(Significance Level,α)是事先設定的判斷門檻。常見α = 0.05,表示在虛無假設成立、檢定假設適當且程序正確執行時,長期重複檢定的第一型錯誤率控制在5%以內。

但0.05不是自然界的神奇分界線。p = 0.049與p = 0.051的證據強度非常接近,卻會在二分決策規則下被分到不同類別。

「所以不是0.049就是真理、0.051就是廢紙?」「當然不是!」

就像考試設定60分及格,59分與60分的學生,能力未必存在明顯差距;但制度有時需要事先明確的判斷規則。跨過門檻,是統計程序的判斷;證據有多強,仍需要完整解讀。

五、沒有達到顯著,不代表沒有差異

「所以20個人支持,p = 0.0679,就表示全里支持率真的只有50%?」天龍里長問。「不是。」「那表示沒有差異?」「也不能這樣說。」

未達顯著的精確說法是:目前資料尚不足以在該檢定標準下拒絕虛無假設。這不等於證明虛無假設成立,更不等於證明母體完全沒有差異。

20/30的樣本支持率仍是66.7%,只是30人的資訊量有限,在這次雙側檢定下,尚未跨過0.05門檻。樣本數有限時,即使樣本支持率看來不低,也可能因估計不確定性較大而未達顯著。

反過來說,顯著也不代表實務重要。例如,等待時間從30分鐘降到29分50秒,在極大樣本下可能達到顯著,但是否值得投入大量經費,仍需管理判斷;平均減少10分鐘可能很有價值,卻也可能因樣本太少而未達顯著。因此除了p值,還要看效果大小、估計精確度與真實生活的意義。

六、信賴區間:除了問有沒有差異,也看看可能範圍

「有沒有辦法不要只看顯著或不顯著?」天龍里長問。「有啊,前一篇才學過信賴區間!」均富里長說。

以95% Wilson信賴區間比較兩種情境:

情境樣本支持率95% Wilson區間分數檢定p值
20/3066.7%48.8%~80.8%0.0679
21/3070.0%52.1%~83.3%0.0285

20/30的區間包含50%,21/30則沒有。這裡使用的Wilson區間與比例分數檢定相互對應,因此顯著性判斷一致。但21/30的區間仍很寬,提醒我們估計有不確定性。

「所以資料支持全里過半居民贊成,卻不能直接說全里一定有70%支持?」天龍里長問。「正確。」

95%信賴區間也不是「這一次算出的區間有95%的機率包含真實支持率」。在傳統頻率學派架構下,母體參數固定、區間隨抽樣改變;若同一方法反覆抽樣建立區間,長期而言約95%的區間會涵蓋固定參數(實際涵蓋率仍取決於方法及條件)。p值與信賴區間各自回答不同問題,合在一起看更有意義。

兩種支持人數的95% Wilson信賴區間20人支持的樣本比例66.7%,95% Wilson區間48.8%到80.8%,包含50%;21人支持的比例70%,區間52.1%到83.3%,不包含50%。95% Wilson信賴區間假設值50%20 / 3048.8–80.8%21 / 3052.1–83.3%40%50%60%70%80%90%
圖2|線段是95% Wilson信賴區間,圓點為樣本支持率。20/30的區間包含50%;21/30的區間未包含50%。區間仍寬,應避免過度精確解讀。

七、統計檢定也會犯錯:第一型與第二型錯誤

「如果檢定說有差異,結果其實沒有呢?」「這是第一型錯誤(Type I Error):虛無假設成立時卻錯誤拒絕。」「如果真的有差異,檢定卻沒發現?」「那是第二型錯誤(Type II Error):虛無假設不成立時卻未能拒絕。」

兩種錯誤都值得重視。過度容易宣稱有差異,可能增加錯誤警報;標準太嚴格或樣本不足,則可能錯失真正重要的效果。

檢定力(Statistical Power)是指在特定真實效果、樣本數與檢定條件下,正確拒絕虛無假設的機率。其他條件相同時,增加樣本數通常有助於提高偵測特定效果的能力,但不是所有研究都應無限制擴大樣本;設計、測量品質與研究目的同樣重要。

「所以統計學不是保證我們不犯錯,而是讓我們知道可能犯什麼錯,怎麼合理控制風險?」「這就對了。」

八、統計顯著了,難道還要研究十年?

「我們已經知道21/30支持,樣本支持率70%,p值也小於0.05,可以向公所提出建議了吧?」天龍里長問。「可以啊!」均富里長回答。

「咦?你怎麼答應得這麼快?你剛才不是一直說抽樣誤差、研究限制和決策風險?」

「因為如果抽樣設計合理、問卷清楚、分析適當,我們已經有理由把這份結果當成推動下一步的證據。統計學不是拿來阻止做事的。」

「難道我們要研究十年,才可以蓋一座運動設施嗎?!」天龍里長忍不住喊。🤣

證據需要多充分,取決於要做什麼。增加簡易器材、試辦社區運動課程,成本有限且可以調整,現有調查可能足以支持啟動規劃;但若拆除建築、投入數億元興建大型運動中心,仍需評估土地、預算、長期維護、需求及替代方案。

證據需要多充分,應與決策的重要性、成本及可逆性相稱。目前統計證據可以支持進入下一階段,不代表已完成所有重大投資決策所需的評估。

而且,不行動也有成本。如果年復一年要求更多調查,居民需求始終無法改善,等待本身就可能造成損失。循證管理不是永遠追求更多資料,而是判斷目前證據是否足以支持下一步,繼續蒐集資料的價值是否值得時間與成本。風險可控時,先試辦、再觀察、持續修正,也是合理策略。

從統計證據到管理行動的決策路徑先檢查調查品質、檢定與信賴區間,再依決策成本、風險及可逆性選擇行動。低成本可逆方案可先試辦並追蹤;高成本不可逆投資需增加可行性、預算及需求評估。調查與統計證據抽樣、p值、信賴區間管理判斷成本、風險、可逆性低風險、可逆先試辦、追蹤修正高成本、不可逆補做可行性評估不是每個決策都需要相同程度的證據。
圖3|統計結果提供判斷依據;是否試辦、追加調查或進入重大建設規劃,取決於決策風險與可逆性。

九、AI會幫你算p值,但誰來決定下一步?

下午,天龍里長抱著筆電走進辦公室。「現在AI太方便了!輸入30人、21人支持,它就能算p值、信賴區間,甚至寫研究報告!以後是不是不用學統計?」

均富里長笑了:「那我問妳,p = 0.0285代表什麼?」「現在知道了!」「如果AI選錯檢定方法?」「我得看得出來。」「如果抽樣有偏誤?」「算得再漂亮也沒用。」「如果顯著,但政策成本很高?」「要進一步做管理判斷。」

AI可以協助整理資料、計算、比較分析方法及模擬結果,但研究問題是否合理、資料是否可信、方法是否適當,以及結果能否支持行動,仍需要人的專業判斷。

尤其醫療照護、教育、身心障礙支持與公共政策,涉及的不只是數字,還有服務需求、倫理、資源配置與行動後果。

「所以AI不是讓我們不用思考,而是讓我們有更多時間思考真正重要的問題。」「說得好。」

十、統計學的下一棒,交給管理學

傍晚,兩位里長終於整理好調查報告。

「所以,21個人支持,統計也顯著了,我們可以開始做事了吧?」天龍里長問。

「當然可以。在我們設定的條件下,證據已經足以支持進入下一階段。」

「那下一階段還要算什麼?」

「這時候,不一定要繼續算了。」

「咦?!」

均富里長笑了。

「統計學幫我們判斷證據,管理學幫我們決定行動。」

天龍里長終於鬆了一口氣。

「太好了!不然運動中心還沒蓋,我們兩個就先退休了!」🤣

參考文獻

  1. Wasserstein, R. L., & Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133. DOI
  2. Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a World Beyond “p < 0.05.” The American Statistician, 73(sup1), 1–19. DOI
Articles 總館↑ Back to top