Hypothesis testing @ Khan Academy

Hypothesis testing

https://www.khanacademy.org/math/probability/statistics-inferential/hypothesis-testing

Hypothesis testing with one sample

1. Hypothesis testing and p-values
2. One-tailed and two-tailed tests
3. Type 1 errors
4. Z-statistics vs. T-statistics
5. Small sample hypothesis test
6. T-statistic confidence interval
7. Large sample proportion 

---

經典問題描述：

   一位神經科學家，對 100 鼠 注射一種新藥後， 對 這 100 鼠 施以 神經刺激，記錄其反應時間後，算出此樣本之平均反應時間為 1.05 sec, 標準差為 0.5 sec。已知對正常未注射的鼠， 施以 神經刺激，其平均反應時間為 1.20 sec。你認為：這種新藥對「降低鼠的反應時間」有效嗎？

---

---

...

結論：

藥物是具有效果的

---

[by RyLyu]

假設「新藥無效」，此假設稱為 H₀，
==> 注射鼠後不影響其反應時間 X，故其平均反應時間仍為 μ = 1.2 sec
==> 實驗結果為  X = 1.05 sec, s= 0.05 sec, 此2數據是在樣本點 n = 100 的情況下得到的。

首先，因為 n =100 算是相當大，(大於30就算可以運用大數法則)，
因此 s= 0.05 可當成即為 X 的 標準差。
s= s / n**0.5 = 0.05/(100)**0.5 = 0.5

其次，實驗結果觀察到   X = 1.05 sec， 這事件發生的機率如何呢？
由於 X 是 連續型隨機變數，故直接計算  'X = 1.05 sec' 沒有意義(其值為0)，
因此，我們透過計算 'X <= 1.05 sec' 的機率值 P，來協助我們進一步的推論。

P('X <= 1.05 sec') = P('(X -  μ)/s <= (1.05 -μ)/s') = Φ((1.05 -μ)/s) =  Φ(-3) =  0.00135=0 .135%

這個機率值 P = 0.135%，非常微小！

這個計算結果可以如何協助我們繼續推論以獲得最終結論？繼續下去。。。

這代表：基於我們最初的假設  H₀ : 「新藥無效」，我們靠嚴謹的機率理論計算，得出會觀察到  'X <= 1.05 sec' 的機率值 P 只有 0.135%，

今天我們確實觀察到 'X = 1.05 sec' 也算包含於  'X <= 1.05 sec', 因此其機率值 「最多」也只有  0.135%,

這個值實在太小了，代表這種實驗結果  'X = 1.05 sec' 實在不該發生，但它確實發生了！如何合理解釋？

===> 假設 H₀「不成立」

===> 結論：「拒絕」H₀

===>  H₀  :「新藥無效」 「不成立」

===>  所以，新藥有效！

---

以上檢定法稱為 單邊檢定，
另有雙邊界檢定，修正如下：

計算 'X <= 1.05 sec 或 'X >= 1.35 sec' 的機率值 P
上述 雙尾事件 是以  μ = 1.2 sec 為中心，兩邊同距(1.20-1.05)以外的樣本點所成集合。
這個 雙尾事件 的機率值 P= 2* Φ(-3) = 0.270%

仍然很微小，亦可作為最終「拒絕」假設 H₀ 的依據。