生物医学分野では世界最大の助成機関である米国立衛生研究所（NIH；メリーランド州ベセスダ）は、研究論文の影響度を評価する新しいアルゴリズムを開発し、重要な助成管理ツールとして利用している。

2015年、NIHのポートフォリオ分析局は、異なる分野の論文の影響度をより公正に比較するために、相対被引用率（Relative Citation Ratio：RCR）という指標を開発した。そして今、NIH内で最大の研究所の1つが、特定の助成方法がより多くの成果につながるかどうかを見極めるために、この指標を利用している。ポートフォリオ分析局はRCRをインターネット上で公開しており、NIH以外の助成機関もこの指標を採用し始めている。英国では、生物医学分野の研究を支援するウェルカムトラスト財団が、助成した研究の成果を分析するためにRCRを利用している。イタリアでは、遺伝病の研究を支援するテレトン財団が、助成に関する決定を評価するための手段としてRCRの有用性を検証している。

ポートフォリオ分析局長George Santangeloは、「NIH内外でのRCRの評価は上々です」と言う。彼のチームは、NIHが助成した研究の成果を分析するツールを開発するために5年前に設立されたもので、科学者、統計学者、データ管理者の総勢18人からなる。

NIHが助成する研究の中で最も影響度が高かったものを見つけるための測定法を開発する、という任務を負ったSantangeloのチームは、論文の影響度を判断するに当たり、どの学術誌に掲載されたかによって判断する従来の単純な手法は取らないことを選んだ。従来のアプローチでは、被引用数の多い学術誌に掲載された論文に高いスコアを与えるが、この方法には欠点があることが分かっている。例えば、重要な研究であっても、権威のある学術誌に掲載されないと過小評価される恐れがある。その一方で、被引用数を数えるだけでは、論文の影響度はその分野内で判断すべきである、という考えに合わない。例えば、数十回しか引用されなかった代数学の論文が数学に及ぼした影響は、多くの論文に引用されたがん研究の論文が腫瘍学に及ぼした影響よりも大きいかもしれない。

特定の論文を同じ分野の他の論文と比較するアルゴリズムは、エルゼビア社（オランダ・アムステルダム）などの民間の分析会社も提供しているが、Santangeloらは、自分たちの指標はこれらの指標と比べて技術的に引けを取らず、無料であるから利用しやすい、と主張する（NIHはヘルプファイルと完全なコードをネット上で公開している）。「私たちが知るかぎり、RCRほど透明性の高い指標は他にありません」とSantangelo。

RCRのアルゴリズムは複雑で、研究論文の「分野」は、共引用された論文の集合体として定義される。それは、絶えず拡大していく動的なグループだ。次に、背景分野の被引用率（その分野の学術誌の毎年の平均被引用数）を計算する。数カ月分の引用が蓄積したら、この背景を基準として、特定の論文の実際の影響度を見積もることができる。ただしSantangeloによると、場合によっては1年待たなければならないこともあるという。

この新評価指標の使い方を示すため、研究チームはNIHから同じ年に助成を受けた同じ分野の論文の影響度を比較した（B. I. Hutchins et al. PLOS Biol. 14, e1002541; 2016）。彼らの手法では、全てをRCRという簡単な数字に要約することができる。ある論文のRCRが1.0であるなら、同じ年にNIHから助成を受けた同じ分野の論文の被引用数の中央値と同じだけ引用されたということになる。RCRが2.0なら、2倍引用されたということだ（「論文の影響度を測る」参照）。誰でもiCiteというウェブサイトにPubMedの論文をアップロードして、そのRCRスコアを調べることができる。

新しい指標を批判する人々もいる。マックス・プランク協会（ドイツ・ミュンヘン）の計量書誌学の専門家Lutz Bornmannは、「私たちの分析では、RCRは他の指標より優れているとは言えない、という結果になりました」と断定する。同協会は、運営する研究機関を評価するために、数年前から分野間の補正をした指標を少なくとも3種類用いているが、RCRを採用する予定はないという。RCRは複雑すぎ、制限がありすぎるというのがその理由だ。RCRはPubMedデータベースにしか適用できず、PubMedは基本的に生物医学論文のデータベースであるため、物理科学論文の分析には不向きなのだ。

けれどもRCRは分析ツールとしての地歩を固めつつある。NIHの研究所の1つである米国立一般医科学研究所（NIGMS；メリーランド州ベセスダ）では、複数の研究者からなるチームに数億円の高額の助成を行う大規模な「プログラム・プロジェクト」の論文の影響度と、個々の主任研究員が比較的少額の助成を受けて執筆した論文の影響度を、RCRを用いて比較した。その結果、両者のRCRスコアは同程度だった。NIGMSの所長Jon Lorschは、「おかげでチーム科学への支援を真剣に考え直すのに役立ちました」と言う。

NIGMSはまた、より多くの助成を受けた科学者が、あまり助成を受けられなかった科学者よりも高い成果を挙げたかどうかも調べた。RCRスコアを調べた結果、NIHから多額の助成を受けることが、論文のRCRスコアの高さにつながるわけではないことが判明した。NIHの外部研究部門の副部門長Michael Lauerは、「私たちは、すでに十分な助成を受けている科学者にさらなる助成を提供するべきではないのかもしれません」と言う。

RCRはNIHの外でも浸透し始めている。ウェルカムトラスト財団の研究アナリストJonathon Kramのグループは、RCRを利用して助成を分析するだけでなく、ウェルカムトラスト財団の助成スキームの影響度を他の助成機関と比較するのにも用いている。分野間の補正をした他の指標とは違い、RCRは「方法論が透明で、無料で利用できる」点で魅力的だと彼は言う。

ソフトウエア会社のウーバーリサーチ社（ÜberResearch；ドイツ・ケルン）は、約200の助成機関が授与した助成のデータベースを構築し、それぞれの論文のRCRスコアを公開している。ウーバーリサーチ社の共同創設者であるStephen Leichtは、「私たちは、データベースに登録されている研究者の歴史をより適切に判断するために、RCRを利用しています」と言う（なお、ウーバーリサーチ社は、世界的なメディア企業ホルツブリンク・パブリッシング・グループが完全所有するデジタル・サイエンスによって支援されている）。

テレトン財団はRCRの有用性を検証中で、採用を考えている。同財団の科学部門の最高責任者であるLucia Monacoは、「助成に関する決定にも役立てますが、むしろ分析ツールとして活用するつもりです」と語る。「私たちが投資する1ユーロ1ユーロが、優れた研究に渡るようにしたいのです」。

翻訳：三枝小夜子