なぜ研究の評価をおこなうためにジャーナル・インパクト・ファクターを使用してはいけないのか?

なぜ研究の評価をおこなうためにジャーナル・インパクト・ファクターを使用してはいけないのか?

ジャーナル・インパクト・ファクター(JIF)の創設者であるEugene Garfield1氏は、そもそもジャーナル選択に役立てるためにJIFを設立しました。しかし残念なことに今日、JIFは本来の使い方とは違ったふさわしくない使い方がなされています。たとえば、個々の研究の影響力や、研究の名声を評価するために利用されている事実があります。また最近、この測定基準は本質的なJIFの限界と誤った使い方について考慮すべきであるという批評のもとにあります。2-4 
 

ジャーナルのインパクト・ファクターは、特定の時間枠の中におけるジャーナルの論文の被引用回数を考慮して得た単なる平均のことです。過去の記事「インパクトファクターとジャーナルの名声を評価するその他の指標」

では、計算方法と特徴について紹介しています。今回のこの記事ではインパクト・ファクターについての誤った考えと、使用するときに考慮すべきポイントについてより深く掘り下げ、徹底して調べました。
JIFの正しい使い方JIFの誤った使い方 
ジャーナルの名声と影響力のための尺度として個々の論文と研究者たちの影響力を評価するため
特定の研究領域内にてジャーナルの影響力を比較するため他の学問領域のジャーナルを比較するため
司書が学会定期購読を管理するとき競争的研究資金配分機関の研究費割り当てのための基準として
研究者が論文を提出するため一流の特定ジャーナルを認識するため著者がジャーナル選択のために個人の標準として考慮する
ジャーナルが予測された実際の引用頻度を比較し、同じ研究分野内の他のジャーナルと比較するため雇用昇進委員会が研究者の評判を予測するため
出版社がマーケットリサーチを運営するため6著者が同じ分野の研究者に対抗して自分の研究を比べるとき3,7



JIFの特徴について

JIFの誤った測定基準の見方を防ぐために理解しておきたいいくつかの特徴と短所について、下記のリストにあげました。
 

  • JIFはジャーナルクオリティの尺度であり、論文自体のクオリティの尺度ではない 

    JIFはジャーナルのすべての論文に蓄積された被引用回数を算出したものです。ジャーナルの上位20%の論文はジャーナルの総計引用の80%を掲載するという有名な80-20ルールは「Nature」のような評判の高いジャーナルにとっても有効的です。8 したがって、高いJIFを持つジャーナルに掲載された論文は必ずしも高いインパクトをもっているというわけではありません。論文そのものが引用されいない可能性は高いのです。逆にいえば、特定の年に高い率で引用されたいくつかの論文は、特定の期間外のジャーナルのインパクトファクターにおいて、変則的な傾向となります。9

 

Journal speak ジャーナル・インパクト・ファクターは、ジャーナル全体の影響力を比較し算出するためだけに慎重に使用されるべきであるが、個人の論文や研究者、研究課題の評価のためや代用となるものではない。- European Association of Science Editors10


 

  • 直近2年間以内の引用のみが考慮される: JIFは異なる分野の様々な引用パターンを示したものですが、直近の2年間以内に受領された特定のジャーナルの引用のみを考慮して算出したものです。健康科学などのような専門分野が論文を出版したあとすぐに多数引用されるケースに対して、社会科学などのような他の専門分野が直近の2年間以降に多数引用をされるケースがあります。11 このように、論文を発表してから直近の2年間以降に多数引用された論文は、引用の影響は対象外となってしまいます。
  • 引用の本質が無視される :ジャーナルの論文が引用されてきて以来、引用された論文は信頼にあたるものであるとか、批判される対象であるとかに関わらず、引用はジャーナル・インパクト・ファクターに貢献をしてきました。8,11これは弱点のある研究として意義を唱えられ、例証されたりする論文もまた、ジャーナルのインパクト・ファクターの値を高められることを意味しています。実際に、撤回された論文でさえもインパクト・ファクターの値を高めることができます。なぜなら、残念ながらそれらの論文の被引用回数は取り消されることがないからです。
  • ソース・データベースに索引掲載されたものだけがランク付けされる:JIFの測定基準のソース・データベースを提供しているトムソン・ロイターのWeb of ScienceRには、1万2千以上のタイトルがあります。このデータベースは理にかなって大きく、年に1度アップデートされますが、英語で出版されていないいくつかのジャーナルは除外されています。このように、Web of ScienceRに索引掲載されていないジャーナルはインパクト・ファクターを持たず、索引掲載されたジャーナルとは比較することができません。12
  • ジャーナル内の論文の種類によって、JIFは異なる: 論文レビューは一般的に他のタイプの論文と比べて頻繁に引用されています。なぜなら前者は過去のすべての研究を寄せ集めたものを発表するからです。このように、論文レビューを出版したジャーナルは高いインパクト・ファクターを獲得しやすいのです。13
  • JIFは学問分野に依存している : 引用パターンの分野を広くまたがるとJIFは異なってくるので、分野をまたぐのではなく、1つの同じ分野の学問に特化したジャーナル同士を比較するために使用されるべきです。14 たとえば、分子生物学のジャーナルがインパクト・ファクターが高いのに対して、有名な数学のジャーナルはインパクト・ファクターが低いという場合があるからです。
  • JIF測定のために使われたデータは公的に利用できない: JIFは基礎的なデータと分析方法を発表する義務を負っていない民間企業のトムソン・ロイターRが提供しています。一般的に、他の団体や企業はトムソン・ロイターによって発表されたインパクト・ファクターの報告を予測や複製することはできません。8
  • JIFは操作することができる :ジャーナル編集者は様々な方法でジャーナルのインパクト・ファクターを操ることができます。JIFの値を増やすために、多数の引用されるレビュー論文を出版をおこなったり、あまり引用されていない事例論文は出版しません。最悪のケースは、ジャーナル編集者が論文を著者のもとに返し、ジャーナル内の論文にもっと多くの引用を入れるように自己引用することを求めたり、追加を要求したなどの真相が明るみになっています。15

    以上、JIFを研究のクオリティの尺度としてみなすべきではない、いくつかの理由を説明しました。この問題を解決するには、他のもっと関係ある指標を切り開くことや、またはそれらと連携することが重要になってきます。助成金団体あるいは所属大学によってJIFが使用された場合、自分が出版した論文にインパクト・ファクターを追加したり、自分のh指数や個人の論文の被引用回数をリストにあげることは良いアイデアかもしれません。出版したジャーナルが有名かどうかに関わらず、これはクオリティの高い論文の影響力を高めることに役立つでしょう。


    知っていましたか ?

    Astrophysical Journal Supplement Seriesのインパクト・ファクターは、 2003年の6.247から2004年は15.231へ跳ね上がりました。これは特別号での極端に高い引用率が記録された 13つの論文による影響です。

結論の見解

最後に、科学コミュニティのような分野の研究の特質において、このインパクトはすぐには現れないかもしれないということを覚えておきましょう。歴史上の科学的大発見のいくつかは数年後に発見されました。時には研究者がこの世を去った後にその貢献が評価される場合もあります。数で示される測定算出の尺度は、実際に論文を読み、またそれが真実に値するかどうかを実証するための実験を繰り返し行うというようなことの代用にはなりません。


参考文献
  • Garfield E (2006). The history and meaning of the journal impact factor, The Journal of the American Medical Association, 295: 90-93.
  • Brumback RA (2009). Impact factor wars: episode V−The empire strikes back. Journal of Child Neurology, 24: 260-262.
  • Brischoux F and Cook T (2009). Juniors seek an end to the impact factor race. Bioscience, 59: 238-239.
  • Rossner M, Epps HV, and Hill E (2007). Show me the data. The Journal of Cell Biology, 179: 1091-1092.
  • Adler R, Ewing J, Taylor P (2008). Citation Statistics. Joint Committee on Quantitative Assessment of Research, International Mathematical Union. [http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf]
  • Garfield E (2005). The agony and the ecstasy—the history and meaning of the journal impact factor. Presented at the International Congress on Peer Review and Biomedical Publication. [http://garfield.library.upenn.edu/papers/jifchicago2005.pdf]
  • Saha S, Saint S, and Christakis DA (2003). Impact factor: a valid measure of journal quality? Journal of the Medical Library Association, 91: 42-46.
  • Neylon C and Wu S (2009). Article-level metrics and the evolution of scientific impact. PLoS Biology, 7: 1-6.
  • Craig I (2007). Why are some journal impact factors anomalous? Publishing News. Wiley-Blackwell. [http://blogs.wiley.com/publishingnews/2007/02/27/why-are-some-journal-impact-factors-anomalous/]
  • EASE. EASE statement on inappropriate use of impact factors. [http://www.ease.org.uk/publications/impact-factor-statement]
  • West R and Stenius K. To cite or not to cite? Use and abuse of citations. In: Publishing Addiction Science: A Guide for the Perplexed. Babor TF, Stenius K, and Savva S (eds). International Society of Addiction Journal Editors. [http://www.who.int/substance_abuse/publications/publishing_addiction_science_chapter4.pdf]
  • Katchburian E (2008). Publish or perish: a provocation. Sao Paulo Medical Journal, 202-203.
  • The PLoS Medicine Editors (2006). The impact factor game. PLoS Medicine 3(6): e291.
  • Smith L (1981). Citation analysis. Library Trends, 30: 83-106.
  • Sevinc A (2004). Manipulating impact factor: An unethical issue or an Editor’s choice? Swiss Medical Weekly, 134:410.

 

学術界でキャリアを積み、出版の旅を歩もうとしている皆様をサポートします!

無制限にアクセスしましょう!登録を行なって、すべてのリソースと活気あふれる研究コミュニティに自由に参加しましょう。

ソーシャルアカウントを使ってワンクリックでサインイン

5万4300人の研究者がここから登録しました。

便利さを実感して頂けましたか?

あなたの周りの研究者にもぜひご紹介ください


このコンテンツは「ジャーナルを選ぶ」ステージに属しています。

論文が仕上がりましたか?エキスパートによる無料の個別コーチングを受けて、優れた論文投稿パッケージを準備しましょう。