Points of Significance: Significance, P values and t-tests

Points of Significance: 

Significance, P values and t-tests

前言

        Nature methods从2013年9月开始发表月刊Points of Significance系列，该系列主要介绍统计在生物学中的应用，让读者可以更正确的理解及使用统计。有研究发现，在医学类期刊上发表的文章中，有接近半数的统计方法的使用都是不正确的，所以Nature methods推出该系列统计文章，以实用易懂的方式来介绍统计中的一些基本概念。

        Points of Significance 系列文章的前两篇分别简单介绍了随机抽样估计总体和Error bar的一些相关知识，希望大家多多少少从中学到一些东西，或者在原来的基础上更加理解这些知识。本文为该系列第三篇的解读。扫描或者识别文末的二维码关注NGSHotpot公众号，查看该系列其他文章。

内容简介

        我们在科学研究中经常做统计检验来看我们的结论是否具有统计显著性，而这个统计显著性通常是用p value来衡量的。那么我们真的理解统计检验的基本原理吗？大家可以试着回答以下问题：p value的含义什么？p value等于0.05和0.01的差别是什么？t检验和其他检验的区别和联系是什么？

        这篇文章将简单介绍统计显著性及单样本t检验的基本知识。

检验与p值

        假如我们想要研究某个蛋白的表达量在某次实验中是否显著增加，我们测量该蛋白表达量为12，并且我们知道一般情况下，该蛋白的平均表达量为10，那么我们这次实验中蛋白的表达量是否有显著的比随机情况高呢？也就是说，我们这次蛋白给出12的表达量是由于我们的实验条件不同所引起的呢，还是单纯随机产生的？如下图a所示。

        为了说明该蛋白表达是否显著高于随机情况，我们需要假设该蛋白在不受实验条件影响的情况下表达的一个分布，这个分布称为零分布，这个问题中，我们假设该分布为均值为10的正态分布（上图b）。为了说明蛋白表达是否高于随机情况，我们假设我们观测到的蛋白表达是来自于刚才假设的零分布，称之为原假设H0。相反的，我们将观测蛋白表达不是来自零分布称为备择假设H1。

        如上图c所示，如果我们从零分布中抽样，若观测结果为12，12与零分布均值10相差2，那么右边黑色部分的面积及左边灰色部分面积是观测值与均值相差大于2的概率，这个概率我们就定义为p值。上述p值包括比均值大也包括比均值小的部分，在某些时候，我们不是想要看观测值是否与零分布的均值有显著差异，而是想看观测值是否显著的大于均值，此时我们只计算右侧黑色部分面积。同样的，若想要看观测值是否显著的小于均值，那么我们只计算左边灰色部分面积。通过上面的例子，我们可以知道，p值其实就是从零分布中随机抽取到的值与均值的距离大于我们观测到的值与均值距离的概率。

原假设分布的确定

        我们再重新整理一下p值是怎么得出的，首先我们认为原假设H0（上图b）是对的，并且我们的观测值12是从H0中取出的，所以当我们的p值很小的时候（比如0.05）相当于是在告诉我们这个观测值是从原假设H0中抽取的的可能性极小。所以我们认为备择假设是对的，即该观测值是与原假设均值有显著差异。

        现住大家基本理解p值是怎么计算，也知道p值的具体意义了。很明显，我们的观测值12是可以测量出来的，但是我们的零分布为什么就是上图b的分布呢？首先根据经验我们假设其是正态分布，原假设均值为10也是可以知道的。那么该分布方差多大呢？在我们的实验条件下，该蛋白表达为12，通常，我们如果没有重复的话这个结果是不可信的。所以另外再做4次实验，测得这5次实验的均值若为10.85，标准差若为0.96。那么我们可以假设原假设的标准差也为0.96。如下图a，b所示。

        仅一次观测实验得到12值不可信，所以按照刚才讲的检验方式检验出来的p值也是不可信的。这里我们总共有了5次观测，怎么样得到更加准确的结果呢？我们在Points of Significance的第一篇Importance of being uncertain中提到过，样本均值与总体均值相同，样本方差等于总体方差除以样本数量（上图c），且样本均值服从正态分布

        此时检验样本均值10.85在该分布下的p值即可（p值等于上图c中阴影部分面积）。

Student t检验

        通过上述过程，我们理解了p值，但是整个过程来说，都是以正态分布作为原假设的，抽样均值也是趋近于服从正态分布的。那这关t检验啥事？      有一个笔名为Student的在德国酒厂担任统计科学家的人发现，当我们取样数量较小时，均值不是正态分布，而是另外一种分布，t分布，如下图a所示。

        上图a中，黑色的分布是正态分布，下面几个蓝色的分布为t分布，t分布中间部分低，而两端部分高。随着n的增大越来越靠近正态分布。上图b展现的是图a中横坐标大小与p值关系，当n较小时曲线距离正态分布的较远，且相互间差异也较大。事实上，当n大于30时，t分布就基本和正态分布一致。所以当样本量很大时，我们也可以直接用正态分布进行检验。

总结回顾

        最后再回到我们刚开始提出的问题：p value的含义什么？p值实际上是一个概率值，当其很小时（一般0.05）我们认为其不可能发生，所以拒绝原假设。p value等于0.05和0.01的差别是什么？概率值不一样，0.01代表该值更加不可能在原假设中出现。t检验和其他检验的区别和联系是什么？不同的检验其实本质就是原假设的分布不同，t检验是t分布，正态U检验是正态分布，泊松检验是泊松分布等等。

注： 我们的Points of Significance系列一般情况下3天一更。

参考文献

1. Krzywinski, M., and Altman, N. (2013). Points of significance: Significance, P values and t-tests. Nature methods 10, 1041-1042.

声明：上述内容为NGSHotpot读文献整理写出，若有遗漏或错误，感谢您指出。

若有任何意见、建议、或对上述内容有疑问请发送邮件到：ngshotpot@126.com

扫描或识别下方二维码关注NGSHotpot