发现心理学论文中的错误.doc

发现心理学论文中的错误

　　当荷兰研究人员研发出一种旨在标记心理学论文中统计错误的开源算法时，科研界对此作出的反应褒贬不一，尤其是在该免费工具读取了上万篇论文并将结果在网上公布后。很多人质疑这个名为statche
发现心理学论文中的错误

　　当荷兰研究人员研发出一种旨在标记心理学论文中统计错误的开源算法时，科研界对此作出的反应褒贬不一，尤其是在该免费工具读取了上万篇论文并将结果在网上公布后。很多人质疑这个名为statcheck的算法的准确性，或者认为该做法相当于在公开羞辱科研界。
　　但实际上，statcheck的研发者日前在一篇发表于预印本服务器PsyArXiv的研究中，该算法可在超过95%的情形下获得正确结果。一些外部人士对此表示赞同，并且呼吁将其作为常规应用。“最新论文令人信服地表明，statcheck确实很靠得住。”格罗宁根大学心理计量学家casperAlbers表示。不过，其他人仍未被。
　　Statcheck是由蒂尔堡大学方家MichleNuijten和大学心理计量学家SachaEpskamp在2015年研发的。它能搜索论文，以寻找按照美国心理学协会（APA）的标准格式发表的数据，并且利用它们计算具有争议性但被广泛用于测量统计显著性的p值。如果计算得出的p值同研究人员报告的结果不同，该工具会将其标记为“不一致”；如果报告的p值低于常用的阈值而statcheck获得的数据并没有，或者与之相反，它会将其标记为“极其不一致”并且可能对结论提出质疑。错误的p值越来越被视为心理学的一个大问题。Nuijten认为，大多数错误源于人类，但statcheck无法区分不端行为和无意的错误。
　　在一项2015年的研究中，Nuijten和同事利用statcheck读取了3万余篇心理学论文，然后发现一半论文至少含有一处数据上的不一致，1/8的论文出现“极其不一致”的现象。去年，Nuijten在蒂尔堡大学的同事chrisHartgerink利用statcheck分析了5万多项心理学研究报告的近70万条结果，并将其自动公布在发表后同行评议网站PubPeer上。同时，论文作者收到了邮件通知。一些研究人员对这种反馈表示欢迎，但心理学会（DGP）表示，公布的内容引发了不必要的声誉损害。普林斯顿大学心理学家、心理科学协会前任会长SusanFiske将此项努力视为“一种”。类似研究仅开展了一次。自此以后，研究人员再未公开利用statcheck读取论文。
　　Statcheck是否公平部分取决于它的准确性。“如果事明自动检查在99%的情形下是准确的，那么它确实很不错。如果准确度仅有90%，我会对现有流程非常不满意。”大学发育神经心理学家DorothyBishop曾对《撤稿观察》网站表示。
　　在最新发表的论文中，研究人员利用statcheck分析了49篇。而在一篇2011年发表的论文中，Nuijten的同事曾手动核实了这些中的统计数据不一致问题。他们发现，该算法的“线%，“线%。整体来看，这些数据意味着statcheck在%~%的情形下从提取的结果中获得了正确答案。
　　研究人员还尝试解决另一种意见：当研究人员将合理的统计修正应用到数据中时，statcheck经常出现错误。通过寻找特定关键词，研究人员发现，这类修正比