科学の力に反論するのは難しい。 最新の食事トレンドを評価する研究から、幸福の予測因子を明らかにする実験に至るまで、人々は科学的結果を、私たちの考え方や行動を支配できる具体的で信頼できる事実としてますます見るようになっています。
関連性のあるコンテンツ
- 科学者は100の心理学研究を再現し、半分以下が同じ結果になりました
しかし、過去数年にわたって、科学者の増大する部隊は、ピアレビューのハードルをクリアし、広く尊敬されているジャーナルに登場した後でも、公表された研究の受け入れられた真実性に疑問を抱き始めました。 問題は、多くの分野で結果の大部分を複製することができないことです。
たとえば、2005年に、スタンフォード大学の医学教授であるジョンイオアニディスは、いくつかのシミュレーションを使用して、科学的主張が真実よりも誤っている可能性が高いことを示しました。 そしてこの夏、バージニア大学の心理学教授であるブライアン・ノセックは、100の心理学研究の結果を再現しようとしましたが、厳密な再テストの下で保持された結果はわずか39パーセントでした。
「科学文献のかなりの部分の再現性を疑問視し始めた、理論的および経験的両方の証拠の複数のラインがあります」と、イオアニディスは言います。 「私たちはどこにも行かない数百万の論文を手に入れています。」
これらの予備調査結果は、メタ研究と呼ばれるまったく新しい分野、つまり科学の科学的研究の創出をもたらしました。
今週、非営利の出版社であり擁護団体であるPublic Science of Science（PLOS）の生物学部門は、メタ研究専用の新しいセクションを立ち上げました。 このセクションでは、研究の透明性、方法論的基準、バイアスの原因、データ共有、資金調達、インセンティブ構造などの問題を検討します。
物事を開始するために、Ioannidisと彼の同僚は、2000年から2014年の間に公開された441の生物医学論文のランダムサンプルを評価しました。これらの論文は、生データと実験プロトコルへの公開アクセスを提供し、その後の研究で複製され、その結果が体系的に統合されている対象分野のレビュー、資金源およびその他の潜在的な利益相反の文書を含む。
彼らの結果は控えめに言っても厄介でした。 たとえば、完全な実験プロトコルを提供した研究は1つだけで、直接利用可能な生データを提供した研究はゼロでした。
「これらは再現性の2つの基本的な柱です」とイオアニディスは言います。 「データと完全なプロトコルが利用可能でない限り、実際に何も再現することはできません。」結局のところ、その重要な情報がなければ、他のチームはどうすればよいのか、元の実験の結果とどう違うのかを正確に知ることができますか？
チームはまた、調査された記事のうちわずか8件の主張がその後の研究で確認されたことも発見しました。 また、多くの研究では新しい発見があると主張されていましたが、後のレビュー記事にはわずか16件の記事の結果が含まれており、特定の被験者に対する研究の真の影響のリトマス試験として役立ちます。
「私たちが得る数字はかなり怖いです。しかし、私たちが今いる場所のベースラインとしてそれを見ることができ、改善する余地が十分にあります。」
しかし、すべての結果が落胆するわけではありませんでした。 利益相反声明のない記事の割合は、2000年の94.4％から2014年の34.6％に減少しました。これは、研究成果に対するバイアスの有害な影響に対する認識が高まったためと思われます。
2番目のメタ研究研究では、ドイツのチームが、前臨床試験中の動物被験者の喪失が、実験結果を有用な臨床薬に変換できないことの広範な原因の一因となるかどうかを分析しました。
研究動物は、たとえば動物が死亡したために、研究からランダムに消えるか、または予期される結果を損なうデータを排除するために試験から除外されるなど、微妙に偏った行動を経て消滅します。 チームは、動物の被験者の偏った除去が結果をゆがめ、偽薬の可能性を大幅に高める可能性があることを実証しました。
脳卒中とがんに関する前臨床研究の別の分析で、同じ研究者は、ほとんどの論文が動物の被験者の損失を適切に報告しておらず、テストされている多くの薬物のプラスの効果が大幅に過大評価される可能性があることを発見しました。
では、なぜ透明性と再現性のこの危機がそもそも起こっているのでしょうか？
一部の問題は意識的または無意識的な研究バイアスにある可能性がありますが、出版に到達したほとんどの研究は、科学における現在のインセンティブ構造による種類の1つである可能性があります。
アカデミアという猛烈な世界では、成功の主な尺度は、研究者が一流のジャーナルで取得する研究の数です。 その結果、科学者は、公開される可能性が最も高い種類の画期的な結果を得るために、ほとんどの時間を費やす必要に迫られています。
「私たちは概念の再現性を重視していますが、実際にはそれを重視していません」と、科学研究の透明性と再現性を促進する非営利のテクノロジースタートアップであるCenter for Open Scienceの共同ディレクターでもあるNosekは言います。
「科学者としての私の行動を促進する真のインセンティブは、他の人がやったことを繰り返すのではなく、革新し、新しい発見をし、新しい境地を切り開くことです。 それは科学の退屈な部分です。」
科学者はまた、他の人が自分の研究を再現するために必要な情報を提供するインセンティブをほとんど見ていません。これは、非常に多くの研究の主張が未検証のままである主な理由の1つです。
「データを公開したり、出版物を入手するのに必要な以上の方法で方法論を詳しく説明したりしても、報われません」とNosek氏は言います。
多くのジャーナルは科学者に方法の詳細な説明とデータの共有を求めていますが、これらのポリシーはめったに施行されず、普遍的な出版基準はありません。
「道路に警官が絶対にいなかったことがわかっていたら、常に速度制限に固執するでしょうか？ いいえ、それは人間の性質です」と、科学文献の撤回を追跡することで説明責任と透明性を促進する組織、Retraction Watchの共同設立者であるIvan Oransky氏は言います。 「誰もあなたを制裁するつもりがないことがわかっているなら、データを共有するつもりはありません。」
複製作業を実施し、実験の詳細を取得できる科学者は、主に新規性と革新性に基づいて助成金申請を判断するNIHなどの公的機関から資金提供を受けることはまずありません。
「オッズは明らかに複製に反しています」とイオアニディスは言います。
そこで、メタ研究の新たな分野が参入します。オープンサイエンスセンターやスタンフォードのメタ研究イノベーションセンター（METRICS）などの組織は、報酬システムの再編成を支援し、より広範な普及を促進する厳しい普遍的な基準を設定するために取り組んでいます透明性と再現性の実践。
「資金調達レベルや昇進が以前の研究で起こったことに依存している場合、それが複製可能である場合、人々がそれを理解できる場合、人々がそれを単に発行した論文の数ではなく有用なものに翻訳できる場合、それはMETRICSの共同ディレクターであるIoannidisは、次のように述べています。
「これらの指標が改善されることを期待しています」と彼は付け加えます。 「そして、それらの一部については、ゼロから開始するため、上昇する以外の可能性はありません。」
