査読は本当に効果があるか？120本の撤回論文の事例

査読は科学出版の中心的存在の1つです。査読プロセスを経た論文は、掲載前に専門家によるスクリーニングをうけた質の高い論文と考えられるのが一般的です。それにもかかわらず、この査読プロセスは、さまざまな立場から批判もされてきました。最近のケースでスプリンガーと米国電子電気協会（Institute of Electrical and Electronic Engineers (IEEE)）などの有名な査読付きジャーナルから120本の偽論文が撤回されたことが、科学コミュニティの間で、査読の質やジャーナルが本当に査読を行っているのかどうかに関する議論を引き起こしています。

フランス、ジョセフ・フーリエ大学のコンピュータ科学者であるシリル・ラベ（Cyril Labbé）は、2年間の研究の結果、学会の発表論文と特定の会議に関連する論文120本が、コンピュータが作ったでたらめなものであることを明らかにしました。こうした無意味な論文は、マサチューセッツ工科大学(MITA)の研究者が開発したコンピュータ・プログラムSCIgenを使って作られていました。SCIgen は、単語の列をランダムに結びつけ、その分野の経験がなく専門でもない人には論理的に見えるような、偽論文を作りだすのです。しかし、そうした論文が査読プロセスを整えようと主張しているジャーナルで掲載されたことにより、本当に査読プロセスを経ているのかという疑問が生じています。もし査読を受けているとしたら、どうやって掲載に至ったのでしょう？

この論文撤回のケースが引き起こした懸案事項について、いくつか考えてみましょう。

1. 査読システムに問題はなかったか？

査読が常に虚偽データを発見できると期待するのは、難しい課題かもしれません。これらの撤回された論文の場合、内容はあいまいに見えましたが、使われている単語はもっともらしいものでした。例えば“TIC: a methodology for the construction of e-commerce” という論文のアブストラクトには次の一節がありました。

In recent years, much research has been devoted to the construction of public-private key pairs; on the other hand, few have synthesized the visualization of the producer-consumer problem. Given the current status of efficient archetypes, leading analysts famously desires the emulation of congestion control, which embodies the key principles of hardware and architecture. In our research, we concentrate our efforts on disproving that spreadsheets can be made knowledge-based, empathic, and compact.

査読をパスした論文からといって、必ずしもその研究が完璧というわけではないことは、よく認識されています。十分な報酬もないため、査読は時に、本来あるべき厳密さに欠けることがあります。そのことをまさに証明するため、欠陥のある論文が投稿されるという可能性もあります。

アメリカの認知科学者スティーブン・ハーナッド（Steven Harnad）はブログで次のように書いています。 「資質のある査読者は乱獲されて欠乏した資源のようなものである」

すぐれた査読者を探すのは容易なことではありません。 適切でない査読者（未熟だったり、偏見があったりする）ですと出来の悪い論文を認めてしまうかもしれません。検出可能な誤りを見逃してしまいかねないのです。 

2. 「掲載か死か」という文化がこうしたスキャンダルの原因ではないか？

ラベ氏は 掲載すること、それも何度も掲載することに対する研究者への強いプレッシャーが、偽研究の掲載をおし進める環境を作っていると考えています。掲載されたジャーナルのインパクト・ファクターと同じくらいの重要度で、掲載された著者論文の数が出世を決める分野や国があります。

ですから、研究者の中には、最後の手段として偽論文を投稿するといった非倫理的な行為に訴える人が出ることがあるのです。ペンシルバニア州リーハイ大学の生化学教授であるマイケル・ベーエ（Michael Behe）は、次のように反論しています。「我々が思うよりずっとペテン師は多いようである。あるいは逆に言えば、終身在職権の経済的利益は、逮捕されるという罰よりもはるかに勝るということだ」

3. 登録制ジャーナルとオープンアクセスのジャーナルの査読には違いがあるのか？

オープンアクセスの出版では、掲載するために料金を払うので、査読と掲載された論文の質について疑問の声が多くあがっています。ちなみに、120本の撤回論文は登録制のジャーナルに掲載されていました。このことで、オープンアクセスの出版社は登録制ジャーナルの出版社よりも査読が厳しくないという意見は解消されるでしょうか？

偽論文を明るみに出した科学者シリル・ラベ氏の推測によれば、このスキャンダルは「科学の核心部分でスパミング戦争が始まった」ことを示しているということです。偽論文が投稿された意図は明らかではありませんが（ジャーナルをテストするためなのか、悪ふざけなのか、著者・エディターを誹謗するためなのか）、事実、適切な掲載プロセスを持つ立派なジャーナルが、こんなにも簡単に惑わされてしまったことは憂慮すべきです。こうした事例によって、科学コミュニティの信頼性にが疑問視されるようになります。ジャーナルは掲載した研究についてもっと警戒しなければなりません。が、その一方で研究者も、掲載された論文の量を成功の尺度とみなすことをやめるべき時に来ています。

ジャーナルは本当に論文を査読にかけていると思いますか？

また、査読はどのくらい効果があるのでしょうか？

掲載の数をもって将来のキャリアチャンスを決めるのは妥当でしょうか？

どうぞ下記のコメント欄からご意見ください。お待ちしています！