一、常用统计量#
设 X1,…,Xn 是来自总体 X 的简单随机样本,即相互独立且与总体同分布;x1,…,xn 是一次抽样得到的观察值。大写字母表示随机变量,小写字母表示具体数值。
总体均值 μ 和总体方差 σ2 是固定参数,可能未知;样本均值 Xˉ 和样本方差 S2 则随样本变化。
1. 样本均值、方差、标准差与样本矩#
样本均值:
Xˉ=n1i=1∑nXi.样本方差与样本标准差(n≥2):
S2=n−11i=1∑n(Xi−Xˉ)2=n−1∑i=1nXi2−nXˉ2,S=S2.第二种写法由展开平方、使用 ∑Xi=nXˉ 得到。
样本 k 阶原点矩:
Ak=n1i=1∑nXik,k=1,2,…样本 k 阶中心矩:
Bk=n1i=1∑n(Xi−Xˉ)k,k≥2.特别地:
A1=Xˉ,B2=nn−1S2.**样本二阶中心矩的分母是 n,本课程样本方差的分母是 n−1,两者不要混淆。**对应的观察值通过将 Xi 换成 xi 得到:
xˉ=n1i=1∑nxi,s2=n−1∑i=1nxi2−nxˉ2,s=s2,ak=n1i=1∑nxik,bk=n1i=1∑n(xi−xˉ)k.原点矩衡量相对于 0 的幂次平均,中心矩衡量相对于样本均值的幂次平均。
2. 自由度:为什么少了一个?#
在这里,自由度可以理解为:满足约束后,还能独立变化的数量。
例如三个数的均值固定为 10,则其和必须为 30。前两个确定后,第三个也确定,因此只有两个自由度。
对于样本偏差,恒有:
i=1∑n(Xi−Xˉ)=0.这是一条线性约束,所以 n 个偏差只有 n−1 个自由度。原始样本 X1,…,Xn 仍然独立,受到约束的是减去样本均值后的偏差。
3. 样本方差为什么除以 n−1?#
用这批样本自己的平均数作为中心,会使平方偏差和小于或等于以真实均值为中心的平方偏差和。精确关系为:
i=1∑n(Xi−μ)2=i=1∑n(Xi−Xˉ)2+n(Xˉ−μ)2.由于
D(Xˉ)=n21i=1∑nD(Xi)=nσ2,E(Xˉ)=μ,对独立同分布、均值为 μ、有限方差为 σ2 的样本,两边取期望:
nσ2=E[i=1∑n(Xi−Xˉ)2]+nnσ2.所以:
E[i=1∑n(Xi−Xˉ)2]=(n−1)σ2.于是
E(S2)=σ2.这叫无偏性:反复抽样所得 S2 的长期平均等于总体方差,不代表每次的 S2 都恰好等于 σ2。
若除以 n,则其期望为 (n−1)σ2/n,会偏小。描述一组数据本身的离散程度时可以用分母 n;这里用 n−1 是为了无偏估计总体方差。这一无偏性不要求总体正态。
三、卡方分布、t 分布与 F 分布的对比#
1. 卡方分布:独立标准正态变量的平方和#
若 Z1,…,Zk 相互独立且均服从 N(0,1),则
U=Z12+⋯+Zk2∼χ2(k).自由度 k 是这里独立标准正态变量的个数。取值非负,密度曲线一般右偏,自由度增大后逐渐趋于对称。
识别时同时检查:标准正态、相互独立、平方后相加。
2. t 分布:标准正态变量与卡方变量的组合#
若
Z∼N(0,1),U∼χ2(k),Z 与 U 独立,则
T=U/kZ∼t(k).记忆结构:标准正态变量,除以“卡方变量除以自由度”的平方根。
- 分母必须有平方根。
- 自由度来自分母的卡方变量。
- t 分布关于 0 对称,相比标准正态分布尾部更厚。
- 自由度增大时,t(k) 趋近于 N(0,1)。
3. F 分布:两个卡方变量的比值#
若 U∼χ2(k1)、V∼χ2(k2),且相互独立,则
W=V/k2U/k1∼F(k1,k2).记忆结构:两个独立卡方变量,各除以自己的自由度,再作比值。
分子自由度写在前,分母自由度写在后。F 变量为正,分布一般右偏。
由定义立即得到:
W∼F(k1,k2)⟹W1∼F(k2,k1).取倒数时,两个自由度必须交换。
补充联系:若 T∼t(k),则 T2∼F(1,k),因为分子 Z2∼χ2(1)。
4. 三大分布放在一起看#
| 对比项 | 卡方分布 χ2(k) | t 分布 t(k) | F 分布 F(k1,k2) |
|---|
| 构造 | ∑i=1kZi2 | Z/U/k | (U/k1)/(V/k2) |
| 基础变量 | 独立标准正态变量 | 标准正态变量与独立的卡方变量 | 两个独立卡方变量 |
| 自由度来自哪里 | 平方和中的独立标准正态分量数 | 分母卡方变量的自由度 | 分子、分母卡方变量各自的自由度 |
| 取值 | 非负 | 整个实数轴 | 正数 |
| 形状 | 右偏,自由度增大后趋于对称 | 关于 0 对称,尾部比标准正态厚 | 一般右偏 |
| 本章对应的随机量 | 平方偏差和、样本方差 | 用样本标准差标准化的均值或均值差 | 两组样本方差的比值 |
这里 Z,Zi∼N(0,1),U,V 为相应自由度的卡方变量。标准化决定尺度,独立性决定能否套用定义,自由度决定具体是哪一个分布。
四、卡方分布的两个性质#
1. 性质1:卡方分布的可加性#
若 U∼χ2(k1)、V∼χ2(k2),且二者独立,则
U+V∼χ2(k1+k2).可以推广到多个独立卡方变量。不能只看到两个卡方变量,就忽略独立条件。
2. 性质2:卡方分布的期望与方差#
先回顾方差公式。对于二阶矩有限的随机变量 Y,令 m=E(Y):
D(Y)=E[(Y−m)2]=E(Y2)−2mE(Y)+m2=E(Y2)−[E(Y)]2.即“平方的期望减去期望的平方”。这里 E(Y2) 与 [E(Y)]2 一般不同。
对于 Z∼N(0,1):
E(Z2)=D(Z)+[E(Z)]2=1,D(Z2)=E(Z4)−[E(Z2)]2=3−1=2.利用期望可加性与独立时方差可加性:
E(U)=k,D(U)=2k.注意 D(Z2) 与 [D(Z)]2 不同,前者为 2,后者为 1。
3. 推导中的难点:为什么四阶矩等于3?#
标准正态密度及其导数为:
φ(z)=2π1e−z2/2,φ′(z)=−zφ(z).所以 z4φ(z)=−z3φ′(z)。利用分部积分 ∫udv=uv−∫vdu,取 u=z3、dv=φ′(z)dz,于是 du=3z2dz、v=φ(z):
E(Z4)=∫−∞∞z4φ(z)dz=−∫−∞∞z3φ′(z)dz=[−z3φ(z)]−∞∞+3∫−∞∞z2φ(z)dz=0+3E(Z2)=3.边界项为零,因为 ∣z∣3e−z2/2→0。指数衰减快于多项式增长。
五、例题方法与重要定理#
1. 例5:分组平方和的分布#
设 X1,…,X6 独立同分布于 N(0,1),
Y=(X1+X2+X3)2+(X4+X5+X6)2.独立正态变量相加仍是正态变量。每组有三个均值为 0、方差为 1 的变量,所以每组和的均值为 0、方差为 3:
X1+X2+X3∼N(0,3),X4+X5+X6∼N(0,3).两组使用互不重叠的独立样本,因此两组和也独立。标准化时除以标准差 3,令
Z1=3X1+X2+X3,Z2=3X4+X5+X6,则它们是独立标准正态变量,于是
Z12+Z22=3Y∼χ2(2).答案:C=1/3,自由度为 2。原始样本虽有六个,最终平方相加的是两个独立标准正态变量。
2. 例6:平方偏差和的概率#
设 n=16,样本来自 N(μ,σ2),求
P{2σ2≤161i=1∑16(Xi−μ)2≤2σ2}.构造
U=σ21i=1∑16(Xi−μ)2∼χ2(16).不等式三部分同时乘以 16/σ2>0,概率变成
P(8≤U≤32)=G16(32)−G16(8),其中 G16 为 χ2(16) 的累计分布函数。数值为
G16(32)≈0.9900002,G16(8)≈0.0511336,P≈0.9388666≈0.94.课件给出的 0.94 是近似结果,与更精确的 0.9388666 一致。
本题减去的是总体均值 μ,因此自由度为 16,不能改成 15。
以下假设 X1,…,Xn 独立同分布于 N(μ,σ2),σ>0;涉及样本方差时 n≥2。
3. 定理2:样本均值的分布#
Xˉ∼N(μ,nσ2).理由:独立正态变量的线性组合仍然正态,并且
E(Xˉ)=n1⋅nμ=μ,D(Xˉ)=n21⋅nσ2=nσ2.**乘以 1/n 时,方差乘以 1/n2。**样本均值的标准差为 σ/n,所以
Z=σ/nXˉ−μ∼N(0,1).这一步使用正态变量的标准化公式:
Y∼N(a,b2),b>0⟹bY−a∼N(0,1).也可以验算标准化后的均值与方差:
E(Z)=σ/nE(Xˉ)−μ=0,D(Z)=(σ/n)2σ2/n=1.Xˉ 的线性变换仍为正态变量,结合均值 0、方差 1,得到标准正态分布。仅有均值为0、方差为1,并不足以判断任意变量是标准正态变量。
对比:单个 Xi 的标准化分母是 σ,Xˉ 的标准化分母是 σ/n。
例如总体为 N(10,4),n=16,则 Xˉ∼N(10,1/4)。均值不变,波动减小。
4. 定理3:样本方差的分布与独立性#
围绕总体均值 μ:
σ2∑i=1n(Xi−μ)2∼χ2(n).因为 (Xi−μ)/σ 是 n 个独立标准正态变量。
围绕样本均值 Xˉ:
σ2∑i=1n(Xi−Xˉ)2=σ2(n−1)S2∼χ2(n−1).这里偏差之和为零,损失一个自由度。严格理由是:利用正态分布的正交变换性质,这个平方和能改写成 n−1 个独立标准正态变量的平方和。
**不能直接把 (Xi−Xˉ)/σ 当作相互独立的标准正态变量。**它们相关,且各自方差为 1−1/n。
当 n=2 时最直观:
σ2S2=2σ2(X1−X2)2=(2σX1−X2)2∼χ2(1).为什么样本均值与样本方差独立?#
正态总体下:
Xˉ 与 S2 独立.关键计算为:
Cov(Xˉ,Xi−Xˉ)=Cov(Xˉ,Xi)−D(Xˉ)=nσ2−nσ2=0.Xˉ 和全部偏差联合正态,因此零交叉协方差保证 Xˉ 与整个偏差向量独立。S2 是该偏差向量的函数,所以也与 Xˉ 独立。
直观上,Xˉ 描述位置,S2 描述围绕位置的波动。一般非正态总体不保证这种独立性;一般变量不相关也不代表独立。
5. 定理4:单样本 t 分布#
S/nXˉ−μ∼t(n−1).令
Z=σ/nXˉ−μ∼N(0,1),U=σ2(n−1)S2∼χ2(n−1).二者独立,套用 t 分布定义:
U/(n−1)Z=σ/nXˉ−μ÷σ2(n−1)(n−1)S2=σ/nXˉ−μ÷σS=S/nXˉ−μ∼t(n−1).总体标准差 σ 是常数,样本标准差 S 会随抽样变化。用 S 替换 σ 后,分母增加了随机性,分布成为尾部更厚的 t 分布。
设两组样本相互独立,分别来自 N(μ1,σ12) 与 N(μ2,σ22),容量为 n1,n2≥2。
6. 定理5(1):两个样本方差比的 F 分布#
σ12/σ22S12/S22∼F(n1−1,n2−1).推导:
U=σ12(n1−1)S12∼χ2(n1−1),V=σ22(n2−1)S22∼χ2(n2−1).它们独立,所以
V/(n2−1)U/(n1−1)=S22/σ22S12/σ12=σ12/σ22S12/S22.此结论不要求总体方差相等。若 σ12=σ22,则简化为 S12/S22∼F(n1−1,n2−1)。
7. 合并方差的来历#
当 σ12=σ22=σ2 时,两组都可以提供对共同方差的估计。定义
Sw2=n1+n2−2(n1−1)S12+(n2−1)S22,Sw=Sw2.因为
(n1−1)S12=i=1∑n1(Xi−Xˉ)2,(n2−1)S22=i=1∑n2(Yi−Yˉ)2,所以该公式是:
Sw2=两组自由度之和两组各自的偏差平方和之和.分母减 2,是因为两组各估计了一个均值。它也是按自由度加权的方差平均:
Sw2=n1+n2−2n1−1S12+n1+n2−2n2−1S22.例如 n1=6,n2=11,S12=4,S22=9:
Sw2=155×4+10×9=322≈7.33.只有 n1=n2 时,它才等于 (S12+S22)/2。而且
E(Sw2)=n1+n2−2(n1−1)σ2+(n2−1)σ2=σ2.两组均值可以不同。合并方差计算的是各组内部的波动,不是把所有数据围绕同一个总均值计算的方差。
8. 定理5(2):两个样本均值之差的 t 分布#
在两总体方差相等的条件下:
Sw1/n1+1/n2(Xˉ−Yˉ)−(μ1−μ2)∼t(n1+n2−2).推导分三步。
**第一步:均值差标准化。**独立变量相减,方差仍相加,因为 D(−Yˉ)=(−1)2D(Yˉ)。因此
Xˉ−Yˉ∼N(μ1−μ2,σ2(n11+n21)),所以
Z=σ1/n1+1/n2(Xˉ−Yˉ)−(μ1−μ2)∼N(0,1).**第二步:合并卡方变量。**令 ν=n1+n2−2,利用独立卡方变量的可加性,
U=σ2(n1−1)S12+(n2−1)S22=σ2νSw2∼χ2(ν).**第三步:套用 t 分布定义。**正态样本的均值与方差独立,两组之间也独立,因此 Z,U 独立。于是
U/νZ=Sw/σZ=Sw1/n1+1/n2(Xˉ−Yˉ)−(μ1−μ2)∼t(ν).总体方差不相等时,不能直接套用这个合并方差的精确 t 公式。
9. 公式对照与易错点#
下表均以前述独立正态抽样为前提。
| 随机量 | 分布 | 关键区别 |
|---|
| Xˉ | N(μ,σ2/n) | 平均数的方差缩小为 1/n |
| (Xˉ−μ)/(σ/n) | N(0,1) | 用总体标准差 |
| ∑(Xi−μ)2/σ2 | χ2(n) | 围绕总体均值 |
| (n−1)S2/σ2 | χ2(n−1) | 围绕样本均值 |
| (Xˉ−μ)/(S/n) | t(n−1) | 用样本标准差 |
| (S12/S22)/(σ12/σ22) | F(n1−1,n2−1) | 两组独立,不要求方差相等 |
| [(Xˉ−Yˉ)−(μ1−μ2)]/[Sw1/n1+1/n2] | t(n1+n2−2) | 两组独立,且总体方差相等 |
容易混淆的几个位置#
- **标准化除以标准差:**单个观测值用 σ,样本均值用 σ/n。
- **自由度先看中心:**减 μ 的平方和对应 n,减 Xˉ 的平方和对应 n−1。
- **自由度再看独立分量:**例5虽然有六个原始样本,但最终只有两个独立标准正态变量的平方,所以自由度是 2。
- t 与 F 的分母不同:t 分布的分母需要开平方,F 分布是两个标准化卡方变量直接作比。
- **合并方差有条件:**双样本合并方差的精确 t 公式要求总体方差相等,不要求总体均值相等。
- **正态性与独立性不能省略:**样本方差的无偏性不要求正态,但本章的精确卡方、t、F 抽样结论需要相应的正态和独立条件。