Series
かたつむりの気になる国際動向
新たなる脅威「査読工場（review mill）」
佐藤 翔
24/9/24
同志社大学
１．「続・オープンサイエンスのいま」連載中！
前回の連載では特集号によって支えられる新型メガジャーナルの動向を紹介したうえで、その問題点については『情報の科学と技術』誌で始まる新連載、「続・オープンサイエンスのいま」第1回[1]をぜひ読んでください、と、露骨な宣伝で原稿を〆たのでした。みなさん読んでくれましたか？ 「続・オープンサイエンスのいま」の各記事は最新号からフリーアクセス（CC BY公開なのでオープンアクセスとも呼べます）ですので、お気軽に読んでくださいね！
……読んでくれましたね？ 読んでくれたみなさんにはわかっていただいたとおり、オープンアクセス雑誌の特集号の問題とは、ゲスト・エディターによる査読の管理体制が甘くなりがちな点にあり、そこを昨今はびこる「論文工場（paper mill）」に利用されることがあります。「論文工場」とは近年急成長している、研究不正ビジネス（地下ビジネス）で、組織的に論文を大量に「生産」し、その著者として名前を入れる権利を研究者に売りつけることで利益を得る手口です。当然、研究者が不正にお金を支払ってまで手に入れたいのは「査読論文」という業績なので、論文の生産過程においては査読を通過し、雑誌に掲載される必要がありますが、大半の工場生産論文は捏造した成果に基づいていたり、意味のある内容がほとんどなかったりするものなので、査読を通過するのは困難です。そこで雑誌の編集委員を買収して取り込む、という手口がとられているのですが[2]、その標的として特集号のゲスト・エディターが狙われたり、あるいはそもそも論文工場関係者が特集号のゲスト・エディターに送り込まれたりしています。
特集号の問題に限らず、近年の学術情報流通関係者を悩ませている「論文工場」ですが、今年（2024年）になってこれとはまた異なる、しかし似たようなタイプの「工場」の存在が指摘されています。それが「査読工場（review mill）」です。
２．「査読工場（review mill）」発見の前段階：査読の剽窃
「査読工場」の存在を指摘したのはスペイン・セビリア大学のOviedo-García氏ですが、さらにその源流は査読における剽窃の横行を指摘した、ポーランド・ワルシャワ生命科学大学のPiniewski氏らの調査でした[3]。Piniewski氏は、自身が共著に入って、Science of The Total Environment（Elsevier社が刊行）という雑誌に投稿していた2本の論文について、寄せられた査読レポートの中に中身を伴わない文章、曖昧な文章、専門用語の間違った使い方等があり、独創性の疑わしいものがあることに気が付きました。そこで試しに査読レポートをオンライン剽窃検知ツールにかけてみたところ、1本目の論文では査読レポート4本中、3本で類似度が44～89%、2本目の論文では査読レポート3本中、2本が類似度44～100%と、他の文章との類似が指摘されました。論文の場合、一般には剽窃検知ツールでの類似度の指摘が10～15%を超えると編集委員の目視チェックが入るレベルとされており[4]、論文と査読レポートという違いがあるにしても、かなり高い類似度になっています。
そこでPiniewski氏らはより詳細な調査を行ってみることにしました。まず、剽窃の疑いが高いとされた査読レポートのうちの1つ、他の文章との類似度が59%と指摘されたものについて、中身を1～3文ずつに細かく切り分けてみた上で、各文をGoogleで検索してみて、類似の文章が見つかるかを調べました。その結果、この査読レポート中の表現について、22の異なる査読レポート等との間でほとんど一致する例が発見されました。22の査読レポートが属する分野はばらばらであり、どんな分野にも通じるような曖昧な表現、例えば「どこに研究ギャップがあり、研究のゴールはなんなのか、もっと説明が必要である。研究ギャップと研究目的が詳しく説明されていないため、読者は研究の意義を見逃してしまう」といった文章が使いまわされていました。様々な分野の曖昧な表現をつぎはぎしたコラージュとして、疑惑の査読レポートが作成されていたのです。
さらにPiniewski氏らは、査読レポート中に含まれていた一つの文章を選択し、その使いまわし状況をやはりGoogleで調べることにしました。選ばれたのは「本研究の大きな欠点は、導入部で議論や主張が明確に述べられていないことである。したがってこの研究の（研究分野への）貢献度は弱い。理論的な議論を強化し、討論・議論を深めることを提案したい」という文で、長いことに加えて、元の英文では複数の文章の誤りなどが含まれていました（例えばThe major defect of this study is the debate or Argument…と、文の途中で固有名詞でもないのに単語の先頭が大文字になっていることがあるなど）。これだけ長い文で、かつ誤りまで同じものがあれば、偶然の一致ではないだろうというわけです。調査の結果、インターネットで公開されている査読レポート50件で、この文章やほぼ類似したバリエーションが発見されました。
50件の剽窃疑惑査読レポートのうち37件は査読者名を公開していなかった一方、査読者名を公開している13件のうち、査読者が同一人物であるのは2件のみ（1名のみ）で、11件は別々の査読者によるものでした。よってPiniewski氏らはこれを査読レポートの使いまわしではなく、査読レポートの剽窃、他者による盗用であると判断しました。そもそもPiniewski氏らの論文に寄せられたごく少数の査読レポートに基づいていること、また、オープン査読を採用せず、公開されていない（今回発見できていない）査読レポートの方が多いだろうことを考えると、今回発見されたのは氷山の一角であり、査読レポートの剽窃はより蔓延している可能性があること、これに対する早急な対策が必要であることをPiniewski氏らは提唱しています。
査読者としては、（論文ならともかく）査読レポートについてそこまで強くオリジナリティを主張するものでもないので剽窃されてもあまりピンと来ない気もしますが（自分の意識が低いだけかもしれませんが）、曖昧な表現のパッチワークで構成された査読レポートなんて査読としての意味をなしていないので、査読の質保証のうえでは大問題です。
ちなみにこれも業績になる論文ならともかく、なぜわざわざレポートの剽窃をしてまで査読を引き受ける研究者がいるのかという点について、Piniewski氏らは、査読者を引き受けることで得られるAPCバウチャー等の特典が目当てである可能性や、一部の国では（例えばPiniewski氏らの所属であるポーランド）査読を引き受けた回数を業績評価時に提出させるので、そうした「業績」を増やすためである可能性を考察しています。あるいは、いわゆるハゲタカ出版等において、実は査読をおこなっていないことを隠す目くらましのために編集委員が査読レポートを捏造している可能性や、査読者になることで研究アイディアの盗用や、競争相手への妨害工作をおこなおうとする者のいる可能性にも触れていますが、いずれも可能性の域を出ません。あるいは単純に、非英語圏の研究者等が、自分の言葉で査読レポートを書く自信がないので、既存の査読レポートのコピペで書いている、という可能性も指摘されています。
３．「査読工場」の発見
Piniewski氏らの調査では同一人物による査読レポートの使いまわしは1例しかなかったため、一連の発見を査読の「剽窃」として扱っていました。しかしOviedo-García氏は、同一人物（時には複数人のグループ）が、同じ査読コメントを異なる別々の論文に対して使いまわしている、いわゆる「自己剽窃」にあたる事例が多数あること、それも単なる自己剽窃ではなく、特定の意図があっておこなっているようであることを発見しました[5]。
Oviedo-García氏のそもそもの動機は査読の剽窃ではなく、査読における引用の強要（編集委員が自身の雑誌の別の論文の引用を強要したり、査読者が自身の論文の引用を強要することで、雑誌や個人の被引用数に基づく評価を操作しようという手口）の調査にありました。ひょんなことから（論文中では明かされていませんが、自身の論文に対する査読でしょうか？）引用の強要に遭遇したOviedo-García氏は、同じ査読者が他の査読でも引用の強要をおこなっているのではないかと考え、調べてみました。その調査を進めるうちに、単に引用の強要をおこなっているだけではなく、同じ文章の使いまわしが多数あることに気が付き、文章の一部と査読者名を使った検索を組み合わせて、11種類・のべ263件の文章を使いまわしている査読レポートが見つかりました（2024年5月9日時点）。これらの査読レポートの情報はすべて論文の付録として公開されています。
263件の査読レポート中には査読者名を公開していないものも含まれますが、氏名を公開している査読者も合計26名いました。このうち最も疑惑の査読レポートが多い（一部に対象論文固有の表現もあるものの、曖昧でどんな論文にも使えそうな表現についてほとんど一致している）グループには合計85件の査読レポート・10人の異なる査読者が含まれています。「査読者が異なるならそれは剽窃なのでは？」と思うかもしれませんが、同一人物が表現を使いまわしているケースももちろん多い上に、10名中には共著論文を発表しているなど、同じ研究グループに属する研究者も多く、グループとして査読レポートの使いまわしをおこなっていたと考える方が妥当そうです。Oviedo-García氏はこの85件の査読レポートとその査読者をReview Mill 1と名付けていますが、それらの査読レポートでは序盤で“In the abstract, the author should add more scientific findings.”（「抄録中に科学的発見をより書くべき」。和訳は佐藤による。以下同様）、後半で“Comparison of the present results with other similar findings in the literature should be discussed in more detail. This is necessary in order to place this work together with other work in the field and to give more credibility to the present results.”（「今回の結果と、先行研究にある他の同様の知見との比較について、より詳細に論じるべきである。これは、この研究をこの分野における他の研究とともに位置づけ、今回の結果に信憑性を持たせるために必要なことである。」）、最後の方で“ The conclusion part is very week. Improve by adding the results of your studies.”（「結論部分は非常に弱い。研究の成果を加えて改善しましょう。」）と、ほぼ必ず同じ文言で指摘します。また、いくつかの文章を論文本文からピックアップして“The author should provide reason about this statement,”（「著者はこの記述の理由を説明すべきである」）と指摘するのもお決まりです。複数人で、中身と関係なくテンプレートを使いまわしていると見るのが自然でしょう。
こうした、「標準化されたベルトコンベヤー式生産」のように査読レポートが量産されている様子を受けて、Oviedo-García氏はこれらの査読レポートの使いまわし・自己剽窃を「査読工場（review mill）」と名付けました（厳密には命名者は氏本人ではなく、SNSのフォロワーだそうです）。
なお、今回発見された「査読工場」事案は98.1%とほとんどがMDPIの雑誌でおこなわれているものでしたが、公開されている査読レポートの中にMDPIの雑誌に掲載されたものが多いことも一因と考えられるので、「査読工場」がMDPI固有の問題であると位置づけられるわけではないでしょう。
４．なんのための「工場」か？
論文工場が組織的におこなわれている、金銭目的の不正ビジネスであるのに対し、査読工場の場合は実態はまだよくわかっていません。今回特定された中にはグループによるものばかりではなく、査読者1名で数十件の査読レポートをこなしている場合もあったようです。
研究者が「査読工場」に手を染める理由について、Oviedo-García氏は実態は未解明であるものの、基本的にはPiniewski氏らが指摘する査読の剽窃（他者からの剽窃）の動機は査読工場にもあてはまるだろうとしています。つまり業績としての査読の水増し、査読をおこなうことで得られる特典、自分の言葉で査読をおこなうことへの自信のなさ、等です。さらにOviedo-García氏は、ハゲタカ出版に協力している場合（これはPiniewski氏らも指摘）のほかに、論文工場の側に協力して、適当な・対応しやすい査読レポートを量産している可能性も指摘しています。
しかし「査読工場」には、よりはっきりした動機も存在するとOviedo-García氏は述べます。そもそもの同氏の調査の対象であった、引用の強要です。「査読工場」に属する査読レポートのほとんどは、査読者自身や共著者が執筆した論文を追加で引用することを、採録の要件として含んでいます。ほとんどテンプレートのみで構成された査読レポートを作成し、その中に自分たちの論文を引用するよう（これもほぼテンプレで）付け加えるだけで被引用数が1回稼げるわけで、著者にとってはぼろい商売です……もっとも、そのコメントがオープン査読で公開されている場合には、引用の強要がまるわかりなわけですが……。
５．「査読工場」に対処するには
「査読工場」に対処する方法の多くは、他者による査読の剽窃への対処と共通しています。一つは、Piniewski氏がやったように、査読レポートに対して剽窃検知ツールを適用することです。投稿論文に対する剽窃検知ツールの適用はすでに多くの雑誌で実施されており、査読レポートにおいても剽窃が存在することがわかった以上は、査読レポートにも適用範囲を拡大することは当然、考えられます。定番の指摘の場合等の類似の表現まで検出してしまう等の問題はありますが、それは妥当性を担当編集委員がチェックすればいい話です。ただし、論文と査読レポートの違いとして、著者が積極的に投稿したくてしている論文に対し、雑誌の側から必ずしも乗り気ではない研究者に頼んで書いてもらっている査読レポートについて、剽窃検知ツールを適用することは査読者の心証を害し、引き受け手を減らしてしまう懸念があります[3]。また、非公開の査読レポートとの重複は、剽窃検知ツールでは検知できません。公開しないまでも出版社間で査読レポートを共有することで対処すること等は考えられますが、そうした枠組みから構築するとなると剽窃検知ツールの適用ほど簡単には進まないでしょう。
査読レポートの公開、すなわちいわゆるオープン査読（の、一部）の採用も一つの抑止力にはなり得ます（オープン査読の詳細は別稿参照[6]）。そもそも一連の剽窃や「査読工場」の発見は公開されている査読レポートがなければ実現しなかったものであり、こうして発見・告発されるようになることで、査読剽窃や査読工場を抑止する効果を持ち得る……かもしれません。査読の剽窃については、公開されている査読レポートが剽窃のターゲットになるという負の影響の可能性も指摘されていますが[3]、「査読工場」についてはどうせ自分たちの査読レポートを使いまわしているので、公開の有無は関係ありません。むしろ査読レポートが非公開の方が、使いまわしがばれる危険性もありません。そこでオープン査読の採用によって「査読工場」を抑止できる可能性が出て来る……わけですが、現に査読レポートを公開し、査読者名も公表している状態で堂々と実行していた「査読工場」もあることを考えると、査読レポートの公開だけで十分とは言えないかもしれません。そもそも、「査読工場」抑止だけを目的にオープン査読を導入するというのも、出版社間の査読レポート共有以上に容易に進む話ではないでしょう。
Piniewski氏ら、Oviedo-García氏のいずれもこれはやるべきであると指摘しているのは、剽窃者や「査読工場」関与者の情報を掲載したブラックリストの作成・共有です。現在、このタイプの査読不正に関する対処については出版規範委員会（COPE）に取り決めがありませんが、査読者による論文アイディアの盗用と同様に、「査読工場」等への対処についてもガイドラインを策定すべきであるとOviedo-García氏は述べています。
それにしても、「論文工場」にとどまらず「査読工場」も出てくるとは。次から次と色々な手口が出てくるものです……これ以上、思いもよらぬ「工場」には出てきてほしくないものですが……。
[1] 佐藤翔. オープンアクセス雑誌における特集号（Special Issue）の問題（Issue）. 情報の科学と技術. 2024, vol.74, no.7, p.267-270. https://doi.org/10.18919/jkg.74.7_267, (参照2024-08-22).
[2] Joelving, F. Paper trail. Science. 2024, vol.383, no.6680, p.252-255. https://doi.org/10.1126/science.ado0309, (参照2024-08-22).
[3] Piniewski, M. et al. Emerging plagiarism in peer-review evaluation reports: a tip of the iceberg?. Scientometrics. 2024, vol.129, p.2489-2498. https://doi.org/10.1007/s11192-024-04960-1, (参照2024-08-22).
[4] Lykkesfeldt, J. Strategies for using plagiarism software in the screening of incoming journal manuscripts: Recommendations based on a recent literature survey. Basic & Clinical Pharmacology & Toxicology. 2016, vol.119, no.2, p.161-164. https://doi.org/10.1111/bcpt.12568, (参照2024-08-22).
[5] Oviedo-García, M.Á. The review mills, not just (self-)plagiarism in review reports, but a step further. Scientometrics. 2024. https://doi.org/10.1007/s11192-024-05125-w, (参照2024-08-22).
[6] 佐藤翔. オープン査読の動向：背景、範囲、その是非. カレントアウェアネス. 2021, no348, CA2001, p.20-25. https://doi.org/10.11501/11688293, (参照2024-08-22).
