F-통계량 (귀무 가설 H0 기각 가능성)

귀무 가설 H0 과 F-통계량: 귀무 가설 H0 은 회귀 모델에서 모든 독립 변수가 종속 변수에 영향을 미치지 않는다는 가설이다. 이를 검정하기 위해 F-통계량을 사용하며, 이 통계량은 모델의 설명 확률을 측정한다.
F-분포: F-통계량은 정규 분포를 따르는 오차항을 가정할 때 F-분포를 따른다. F-분포는 두 개의 서로 다른 자유도를 가지며, 하나는 회귀에서 사용된 독립 변수의 수 p에 의해, 다른 하나는 표본 크기 n에서 독립 변수의 수를 뺀 값에 의해 결정된다.
p-값 계산: 통계 소프트웨어는 주어진 F-통계량 값과 자유도를 사용하여 p-값을 계산한다. p-값은 특정한 F-통계량 값이 관측될 확률을 나타내며, 이 값이 매우 낮다면 (일반적으로 0.05 또는 0.01 미만) 우연히 발생했다고 보기 어려우므로 귀무 가설을 기각한다.
결정: p-값이 유의 수준(보통 0.05)보다 낮을 경우, 귀무 가설 H0 을 기각하고, 모델에 포함된 적어도 하나 이상의 독립 변수가 종속 변수에 유의미한 영향을 미친다고 결론지을 수 있다.

 

 

ISLP 84p.

However, what if the F-statistic had been closer to 1? How large does the F-statistic need to be before we can reject H0 and conclude that there is a relationship? It turns out that the answer depends on the values of n and p. When n is large, an F-statistic that is just a little larger than 1 might still provide evidence against H0. In contrast, a larger F-statistic is needed to reject H0 if n is small. 

표본 크기 n	F-통계량 (F-statistic)	귀무 가설 H0 기각 가능성 (Likelihood of Rejecting)
Large n	Slightly above 1	(Possible) still provide evidence against H0
Small n	Slightly above 1	Unlikely
Large n	Large	Very Likely
Small n	Large	Likely

 

When H0 is true and the errors6εi have a normal distribution, the F-statistic follows an F-distribution. For any given value of n and p, any statistical software package can be used to compute the p-value associated with the F -statistic using this distribution. Based on this p-value, we can determine whether or not to reject H0.

 

p=100이며 귀무 가설 H0 :β1=β2=⋯=βp =0이 참이라고 가정하자. 즉, 어떤 변수도 반응 변수와 실제로 관련이 없다고 가정하는 것이다. 이러한 상황에서 각 변수에 대해 계산된 p-값 중 약 5%가 우연히 0.05 이하가 될 것으로 예상된다. 다시 말해, 실제로 어떤 변수와 반응 변수 사이에 연관성이 없음에도 불구하고 약 5개의 변수에서는 p-값이 0.05 이하로 나타날 수 있다는 것이다.

표에서 각 개별 예측 변수에 대해 t-통계량과 p-값이 제공된다 하자. 이 값들은 다른 예측 변수들을 조정한 후 각 개별 예측 변수가 반응 변수와 관련이 있는지에 대한 정보를 제공한다. 이는 모델에서 단일 변수를 제외하고 나머지 변수들을 포함시켜 실시한 F-검정과 동등한 정보를 제공한다(즉, q=1인 경우). 예를 들어, TV와 라디오는 매출과 관련이 있다는 것을 이 p-값들이 나타내지만, 신문은 TV와 라디오가 고정된 상태에서 매출과 관련이 없다는 증거를 제공한다.
 그러나 이러한 개별 p-값들을 통해 변수들과 반응 변수 사이의 연관성에 대해 결론을 내릴 때, 특히 예측 변수 p의 수가 많을 경우, 오류를 범할 가능성이 높다. 이유는 우연히 한 개 이상의 p-값이 0.05 이하로 나올 확률이 높기 때문이다. 그러나 F-통계량은 예측 변수의 수를 조정함으로써 이 문제를 해결한다. 따라서 귀무 가설 H0이 참일 경우, 예측 변수의 수나 관측치의 수에 상관없이 F-통계량으로 인해 p-값이 0.05 이하로 나올 확률은 5%에 불과하다.
 따라서 전체 F-통계량을 살펴보는 것이 중요하다. 개별 변수의 p-값 중 하나라도 매우 낮다면 적어도 하나의 예측 변수가 반응 변수와 관련이 있다고 보일 수 있지만, 이는 오류의 가능성을 높인다. F-통계량을 사용하면 이러한 오류 가능성을 줄이고, 모델 전체가 반응 변수와 유의미한 관계를 가지고 있는지 보다 정확하게 평가할 수 있다.