AIが書いた論文の審査が一流の専門家の審査に勝っていた

8 時間前 3

人間の審査にもAIの審査にも、弱点があった

米国立衛生研究所で、審査員が研究費の申請書を評価しているところです。論文の審査ではありませんが、専門家が書類を読み込んで良し悪しを見きわめる点は同じです。米国立衛生研究所で、審査員が研究費の申請書を評価しているところです。論文の審査ではありませんが、専門家が書類を読み込んで良し悪しを見きわめる点は同じです。Credit: Center for Scientific Review [2] / Wikimedia Commons(Public domain)

査読では、同じ分野の研究者が論文の下書きを読み、著者への助言と、雑誌の編集者への判断材料を出します。

科学の要となる仕組みですが、困った点も抱えています。

結果が出るまで長く待たされ、引き受けてくれる専門家を探すのもひと苦労です。

同じ原稿を読んでも、専門家ごとに評価がそろわないことがよくあります。

さらに人間の審査員は、大きな誤りを見落としたり、表面的な助言で済ませたりすることもあります。

見慣れた手法や、名の知れた研究機関の論文をひいきしがちだという指摘もあります。

そこで注目されているのが、膨大な文章を学んで文章を読み書きするAI(大規模言語モデル)です。

ChatGPTとの会話の例を映した画面です。今回の研究で審査を書いたAIとは別のものです。ある医学系の雑誌の研究では、このAIが人間の審査員と比べられました。ChatGPTとの会話の例を映した画面です。今回の研究で審査を書いたAIとは別のものです。ある医学系の雑誌の研究では、このAIが人間の審査員と比べられました。Credit: Lugab89 / Wikimedia Commons(CC BY 3.0)

ただしAIにも、ありもしない文献を引用したり、誤りを自信たっぷりに言い切ったりする危うさがあります。

原稿に隠された命令に操られるおそれや、評価が甘くなりすぎる心配も挙げられてきました。

そのため、これまでの分析の多くは「AIは人間の審査員を補う役にとどめるべきだ」と結論づけていました。

実際に両者を比べた2026年の2つの研究でも、答えは割れています。

ある医学系の雑誌で119本の原稿を調べた研究では、人間の審査員のほうがChatGPTより細かく幅広い指摘をしていました。

一方、心臓病の分野の雑誌で40本の原稿を目隠しで比べた研究では、逆の結果が出ました。

編集者たちが、ClaudeやChatGPT、Geminiの審査を、7つの基準のうち5つで人間の審査より高く評価したのです。

つまり、AIの審査が人間の審査に並ぶのかどうかは、まだ決着がついていなかったのです。

記事全体を読む