第 6 讲

自由度:为什么统计学中总要减去1?

从固定总和到样本方差,再到 t 分布、χ²分布、方差分析与回归

总和固定时,有几个数可以自由变化?

要求下面五个数的总和始终等于 100。请修改前四个数,观察第五个数会怎样变化。

数据个数
5
独立约束数
1
自由度
4
01020304010.0115.0220.0325.0430.05
  • 可自由指定的前四个数
  • 被约束的第5个数
五个数的取值:前四个数可以自由指定(也可拖动条形或用 ↑ ↓ 键调整),第五个数由总和 100 决定
x5=100−(10+15+20+25)=30.00x_{5}=100-\left(10+15+20+25\right)=30.00

关键观察

前四个数可以分别指定;第五个数不能随意选择,否则总和就不再是100。5个数 − 1个独立约束 = 4个自由度。这只是理解自由度的一个直观入口。

课堂思考

  1. 如果改成10个数,总和仍固定,自由度是多少?如果总和不受限制,自由度又是多少?

为什么计算样本方差时是 n−1?

调整5个样本观测值,观察样本均值、离差及离差之和。样本均值由这5个数计算而来。

样本均值 x̄
11.00
离差之和
0.00000000
残差自由度
4
51015样本均值 11.00−4.0x1=7−2.0x2=9+0.0x3=11+1.0x4=12+5.0x5=16
  • 观测值
  • 样本均值 11.00
  • 离差(带符号)
五个观测值、样本均值线与各自的离差 xᵢ − x̄
s2=∑(xi−xˉ)2n−1=46.004=11.500s^{2}=\frac{\sum\left(x_{i}-\bar{x}\right)^{2}}{n-1}=\frac{46.00}{4}=11.500

本组样本的离差为:−4.00、−2.00、0.00、1.00、5.00。它们的总和恒为0,所以知道前4个离差后,第5个就被确定。这里的n−1来自使用样本均值造成的一个线性约束。样本方差用n−1作分母,才能在独立同分布抽样下无偏估计总体方差。

课堂思考

  1. 为什么样本方差使用 n−1 作分母,而不是 n?如果总体均值 μ 事先已知、直接计算对 μ 的离差,又有什么不同?

分布设置

动手试一试

分布类型

t 分布(实线)与标准正态分布(虚线)对照,观察尾部变化。

自由度如何改变 t 分布和 χ²分布?

自由度 ν
4
双侧95%临界值 |t|
2.7764
分布特点
尾部明显较厚
−4−2024t−2.7762.7762.5%2.5%
  • t(4) 分布
  • 标准正态分布
  • 中央 95%
  • 双侧 95% 临界值
t(4) 分布(实线)与标准正态分布(虚线)

实线:t(4)分布;虚线:标准正态分布。t分布始终左右对称,但自由度较小时尾部更厚,95%临界值更大。自由度增大时,t分布逐渐趋近标准正态分布。

为什么这里也是 n−1?

(n−1)s2σ2∼χ2(n−1)\frac{(n-1)s^{2}}{\sigma^{2}}\sim\chi^{2}(n-1)

在正态总体独立随机抽样下,样本方差对应的χ²统计量有 n−1 个自由度;当总体标准差未知时,均值的t统计量使用同一份样本方差估计,因此t分布也有 n−1 个自由度。

模型设置

动手试一试

选择场景

自由度不只是 n−1:方差分析与回归

组间自由度
2
组内自由度
21
总自由度
23
221组间 k−1组内 n−k
自由度分解:总计 n−1
组间 (k−1)+组内 (n−k)=总计 (n−1) ⁣:2+21=23\text{组间}\ (k-1)+\text{组内}\ (n-k)=\text{总计}\ (n-1)\colon\quad 2+21=23

单因素方差分析中,组间比较的自由度为 k−1;每组估计一个组均值,组内残差自由度合计为 n−k。总离差自由度为 n−1。

把四个场景连起来

自由度反映的是:在模型施加的独立约束或估计参数占用的信息维度之后,还剩多少独立变化的方向。对于常见满秩线性模型,残差自由度等于观测数减去独立估计参数数。并不是所有统计问题都机械地“减去1”。