世界

一个雄心勃勃的新项目正试图复制2008年在三个主要学术心理学期刊上发表的每一项研究

它被称为再现性项目顾名思义,其目的是探索心理实验结果的可重复性,以及当前的问题

心理科学的观点致力于它这是一个值得称赞的目标,但为什么有必要

当然,对实验数据的统计分析应该告诉我们,我们是否可能再次看到相同的结果人们普遍存在一种误解,即科学期刊中通常报道的统计分析涉及复制特别是包括研究人员在内的许多人都认为“统计学意义” “结果直接说明实验效果的再现性它不是科学论文的读者可能熟悉术语”统计意义“它通常表示为结果后p <05,或表格或图中的星号提到“5%水平的显着性”在心理学中,统计显着性检验用于支持97%的实证文章中的主要结果最常见的误解是p <05意味着实验效果的概率小于5%由于机会(仔细阅读这一点 - 前面的句子描述了一个误解)从此“由于机会”的误解,我们很快得出错误的结论,即效果很可能是真实的并且它会复制实际上,ap值是一个条件概率:观察特定实验结果的概率,或者更极端的,鉴于它实际上并不存在于世界中该陈述不等于“由于机会”,“可重复”或“真实”的原因是它只描述了一种类型的错误 - 找到某种东西的错误真的在那里它没有说出错过那里的机会,甚至没有说明我们看起来有多难!统计学意义取决于效果的大小(即药物或治疗产生的差异),样本的变异性(即人们对药物或治疗的反应有多大差异),以及其他设计特征

实验,包括样本量在心理学中,小样本量,适度的治疗效果和相当大的个体差异(大量的变异性)共同作用,在许多实验中产生低统计功效统计功效告诉我们给定实验检测的可能性有多大如果影响在世界上真实存在,则具有一定幅度的“统计上显着”的影响已发表的心理学实验的平均统计力的计算徘徊在50%左右这意味着进行平均心理学实验大致相当于掷硬币,无论您是否获得统计上显着的结果,许多统计上不显着的结果都是t因此,没有好的证据证明“没有效果”,并且许多具有统计学意义的结果被公布是假阳性,正如我们在下面解释的那样平均统计效率为50%,再加上期刊对仅发布具有统计学意义的结果的偏见会产生偏差的文献,一个可能只讲述故事的一半 - 统计上显着的一半我们根本没有听说未达到显着性阈值的研究,即使可能有更多的研究那些研究保持锁定在文件抽屉中出版偏差推动了数字文献中的假阳性远远超出了我们对报告p <05的测试所期望的5%的误差率假阳性结果在没有实际效果的情况下检测到统计学上显着的影响,例如怀孕测试报告您怀孕时未添加混合外部压力发布 - 来自资助机构或制药公司 - 和灵活的研究设计允许r研究人员在超过统计显着性阈值时(而不是预先确定的样本大小并坚持下去)停止收集数据,并且误报率甚至更高

典型统计数据不能为我们提供有关的直接信息可能不方便结果的可重复性,但它不一定是科学事业的垮台问题在于错误地相信,正如许多心理学研究人员所做的那样,ap <05意味着它,你真的很可能,下次再看到另一个低p值如果你认为p值告诉你你需要知道的关于复制的事情,你,实际复制一项研究的可能性要小得多,这意味着误报结果可能在文献中徘徊很长一段时间,扭曲了我们对问题的理解,误导了科学研究,并支持不恰当的管理或政策决定2005年,John P Ioannidis声称高达90%的已公布医学发现可能成为头条新闻是假的Ioannidis描述了小样本量,小效应大小,发表偏倚,发布压力和灵活停止规则的条件,我们在上面确定的所有问题他的关于错误率和误报的定量结论是基于模拟,而不是,真实的,数据不幸的是,查看真实数据同样令人沮丧在过去十年中,一组研究人员试图复制53 Äúlandmark,癌症研究他们感兴趣的是,有多少人会再次产生足以推动药物开发计划的结果(他们对再现性的定义)在这53项研究中,只有6项研究的结果可以强有力地再现

似乎可重复的结果是通过量化再现性项目究竟有多么艰难,我们很难了解哪些心理现象是真实的,哪些不是,我们也可以学到很多关于穷人的统计实践可以做多少推迟进步和误导科学



作者:诸葛蠼要