假设检验

概念

• 第一类错误（拒真）
  • 概率为显著性水平，记为$\alpha$
• 第二类错误（存伪）
  • 当$H_0$为假时接受的概率为$\beta$
  • 当$H_0$为假时拒绝的概率为检验的势，等于$1-\beta$
• 当原假设为真时， 检验统计量的分布为零分布
• 简单假设
  • 假设中的参数都是确定的
• 在所有构造的统计量中，基于似然比的统计量有最大的势
  • 要求$H_0$和$H_A$都是简单假设
  • 在同样的检验水平下
• uniformly most powerful
  • 若$H_A$是复杂的，$H_1$相对于$H_A$中的每一个假设都是最优的，则$H_0$是一致最优的

公式

• 设$\omega_0$ 为原假设的参数集合，$\omega_1$是备择假设的参数集合，$\Omega = \omega_0 \cup \omega_1$，则$-2\log A$的零分步服从自由度为$\dim \Omega - \dim \omega_0$的卡方分布
• 例子
  • 多项分布的似然比检验
    • 注意自由度有和为1的约束
  • posisson散度检验
    • 由于$E_i$都一样，因此可以写成 $T = \frac{n\sigma^2}{\bar{x}}$
  • 其统计量都一样（自由度不一样）：
  • $-2\log A = 2\sum O_i\log (\frac{O_i}{E_i}) = \sum \frac{(O_i-E_i)^2}{E_i}$

plot

悬挂根图

用估计的概率得到拟合值：$\hat{n_j} = n\hat{p_j}$

可以发现，$\hat{p_j}$较大的值含有较大的方差：$var (n_j - \hat{n_j}) = np_j$

需要进行方差稳定性变换：

$var Y = \sigma^2(\mu)[f'(\mu)]^2$

因此，一般取$\sqrt{n_j} - \sqrt{\hat{n_j}}$

悬挂卡方图

$\frac{n_j - \hat{n_j}}{\sqrt{\hat{n_j}}}$

数据汇总

概念

1. 经验累计分布函数$F_n(x)$
   • 期望：$E(F_n(x)) = F(x)$
   • 方差：$\frac{1}{n}F(x)(1-F(x))$

2. 生存函数

   • $S_n(t) = 1 - F_n(t)$

3. 危险函数

   • $h(t) = \frac{f(t)}{1- F(t)} = -\frac{d}{d t}\log S(t)$
4. 核密度估计
   • 假设正太分布，则可以构造$w_h = \frac{1}{h}w(\frac{x}{h})$
   • 则概率密度函数$f$ 的估计为：$f_h(x) = \frac{1}{n} \sum w_h(x-X_i)$
5. 中位数
   • 样本中位数可以作为总体分位数的估计。构造一个中位数的置信区间：
     • $(X_{(k)},X_{n-k-1})$
   • 可以计算这个区间的覆盖概率为：$P(X_{(k)} \le \eta \le X_{(n-k+1)}) = 1 - 2P(\eta\le X_(k))$
   • 由于是否大于中位数都是1/2的概率，因此可使用二项分布：$\frac{1}{2^n}\sum\limits _{j=0}^{k-1} C_n^j = P(Y\le k-1)$

6. 截尾均值

   • 按照顺序排列数据，丢掉最小的100$\alpha$%和最大的100$\alpha$%，计算剩余数据的算术平均

7. M估计

   • $\min \sum \Phi (\frac{X_i - u}{\sigma})$

8. 散度度量

   • 最普通的度量为样本标准差$S^2$
   • 若观测时来自正太分布的样本，则：$\frac{(n-1)s^2}{\sigma^2} \sim \chi ^2_{n-1}$
   • 但样本标准差对离群观测比较敏感
   • 四分位差（IQR）（25%与75%分位数的差值）
   • 中位数绝对偏差（$|x_i - \hat{x}|$的中位数）（MAD）

   • 可以将其转为正太分布的$\sigma$ 估计：

     • $\frac{IQR}{1.35} = \frac{MAD}{0.675} = \sigma$
9. 皮尔逊相关系数
   • $r = \frac{cov (X,Y)}{\sigma(X)\sigma(Y)} = \frac{\sum(x_i-\bar{x})(y_i-\bar{y)})}{\sqrt{\sum(x_i - \bar{x})^2\sum(y_i - \bar{y})^2}}$
   • 注意，这个系数只能衡量线性关系

两样本比较

两独立样本比较

基于正态的方法

需要假设$X/Y$都服从正态分布且方差相等，这里只是检验其均值是否有差异

$\bar{X} - \bar{Y} \sim N(\mu_x-\mu_y,\sigma^2(\frac{1}{n }+ \frac{1}{m}))$

1. 若$\sigma$已知，则可以构造$\mu_x - \mu_y$ 的置信区间：
   • $(\bar{X} - \bar{Y}) \pm z(\alpha/2) \sigma\sqrt{\frac{1}{n}+ \frac{1}{m}}$
2. 更一般的，$\sigma$未知时，
   • 计算合并样本方差：$s_p^2 = \frac{(n-1)s_x^2 + (m-1)x_y^2} {m+n-2}$
   • 构造$t$ 统计量(自由度为$m+n-2$ ）：$t = \frac{(\bar{X} -\bar{Y})- (\mu_x -\mu_y)}{s_p\sqrt{\frac{1}{n} + \frac{1}{m}}}$
   • 记$\bar{X} - \bar{Y}$的估计标准差为：$s_{\bar{X} - \bar{Y}} = s_p\sqrt{\frac{1}{n} + \frac{1}{m}}$
3. 此时，构造$\mu_x - \mu_y$ 的置信区间：
   • $(\bar{X} - \bar{Y}) \pm t(\alpha/2)s_{\bar{X} - \bar{Y}}$
4. 可以证明，这种$t$检验与基于似然比的检验等价

势

势是拒绝假的概率，可以用来确定样本容量的大小

若设备则假设为$\mu_X -\mu_Y = \Delta$，则对于原假设$\mu_X = \mu_y$的拒绝域为：

$|\bar{X} - \bar{Y}| > z(\alpha/2)\sigma\sqrt{\frac{2}{n}}$

对备则假设进行标准化后，可以得到落入拒绝域的概率为：

$1-\Theta[z(\alpha/2) - \frac{\Delta}{\sigma}\sqrt{\frac{n}{2}}] + \Theta[-z(\alpha/2) - \frac{\Delta}{\sigma}\sqrt{\frac{n}{2}}]$

非参数检验（Mann-Whitney Test）

问题

用$x_1…x_n$和$y_1...y_m$ 表示处理1和处理2的观测值，要比较X和Y的分布是否相同

原假设是完全随机（没有效应），当控制组观测的秩和太大或太小时，拒绝原假设。

操作流程：

1. 若有$m+n$ 个实验单元，随机分成实验组和控制组
2. 计算控制组的秩，并根据秩和进行判断

在原假设成立下，我们可以计算控制组秩和的统计量为：

• $E(T_Y) = m\mu = \frac{m(m+n+1)}{2}$
• $Var(T_Y) = m\sigma^2(\frac{N-m}{N-1}) = \frac{mn(m+n+1)}{12}$（不放回的抽样）

同时，可以计算$X<Y$的个数的统计量$U_Y= T_Y - \frac{m(m+1)}{2}$：

• $E(U_Y) = \frac{mn}{2}$
• $Var(U_Y) = \frac{mn(m+n+1)}{12}$

在m和n大于10的时候可以用正态近似，否则需要查表

配对样本比较

基于正态的方法

在方差已知的情况下：

$E(\bar{D}) = \mu_X - \mu_Y$

$Var(\bar{D}) = \frac{1}{n}{\sigma^2_X + \sigma^2_Y - 2\rho\sigma_X\sigma_Y}$

更一般的，在方差未知的情况下，用样本方差代替总体方差，可得到统计量为：

$t = \frac{\bar{D} - \mu_D}{s_{\bar{D}}}\sim t(n-1)$

其中，$s_{\bar{D}}$为样本差的样本方差，即$s_{X-Y}/\sqrt{n}$

符号秩检验

若两个配对样本没有差别，那么可以预计一般的$D$是正的，一般的$D$是负的

计算步骤：

1. 计算差$D$，差的绝对值
2. 将差的符号用在秩上，得到符号秩
3. 计算具有正的符号的秩$W_+$

若$W_+$ 太大或太小，则拒绝原假设

若样本容量超过20，可以用正态近似：

• $E(W_+) = \frac{n(n+1)}{4}$

• $Var(W_+) = \frac{n(n+1)(2n+1)}{24}$