概要

PatSnap PatentBenchは、PatSnap Eureka 新規性調査エージェント、ChatGPT-o3（ウェブ検索対応）、DeepSeek-R1（ウェブ検索対応）の3つのAIツールを対象に、これらが実際の特許業務における新規性調査をどの程度支援できるかを評価するベンチマークです。

今回は、340件のテストサンプルを採用。テスト結果では、PatSnap Eureka 新規性調査エージェントは、Top100の検索結果におけるX検出率とXリコール率がそれぞれ81％と36％に達し、二つの汎用AIを大きく上回りました。

PatSnap Eureka 新規性調査エージェントは、特許専門家の新規性調査の効率を大幅に向上させ、時間と人手のコストを削減できることが示され、特許分野の専門AIツールが垂直分野において変革的な可能性を持つことを明らかにしています。

実務の新規性調査について

新規性調査は特許業務においては重要であり、世界中の先行技術を体系的に特定し、ある技術的解決策が特許法上新規でかつ進歩性を有するかを判断する専門的な検索プロセスを指します。

研究開発の立ち上げ、特許出願前、特許審査など、新規性調査はイノベーションのライフサイクル全体にわたって活用されます。例えば、研究開発立ち上げの段階では、研究者は調査結果を基に技術開発の方向性や実現可能性を評価します。出願前の段階では、特許出願を行うか否かを決定する判断材料となります。特許審査の段階では、審査官が特許出願の新規性および進歩性を判断します。

評価設計

サンプル

今回のサンプルは340件で構成されています。言語は68％が英語、32％が中国語で、IPC分類に均等に分布しており、主流技術分野からニッチな領域までを網羅しています。特許庁別の分布では、アメリカ（US）および中国（CN）がそれぞれ約32％を占め、欧州特許庁（EP）および世界知的所有権機関（WO）がそれぞれ約18％を占めています。このバランスの取れた構成は、主要特許庁の異なる審査ルールを反映しており、より現実的でグローバルに代表性のある評価を可能にしています。

評価対象

PatSnap Eureka 新規性調査エージェント

ChatGPT-o3（ウェブ検索対応版）

DeepSeek-R1（ウェブ検索対応版）

PatSnap Eureka新規性調査エージェントは特許の新規性調査に特化して開発されたAIエージェントであり、技術案のテキストを入力するだけで、検索プロセス全体を自動で実行し、新規性調査レポートを生成します。一方、ChatGPT-o3とDeepSeek-R1は、現在主流の汎用大規模言語モデルであり、優れた推論性能と人間に匹敵する思考プロセスにより、さまざまな業務シーンで広く活用されています。

テスト結果

ベンチマーク結果では、PatSnap Eureka新規性調査エージェントがTop100においてXヒット率86%、Xリコール率31%となり、二大汎用AIツールを大きく上回りました。

Xヒット率（X Hit Rate）：

Xヒット率はAIツールがX文献を適切に検索できるかどうかを評価する指標です。高いXヒット率は、特許審査の段階や技術開発の方向性を決定する「初期スクリーニング」段階では、検索プロセスを大幅に加速し、特許審査の効率を向上させることに非常に役割を果たしています。Patsnap Eureka新規性調査エージェントは81％。これは、340件のテストサンプルのうち、PatSnap Eureka新規性調査エージェントが約5分の4のサンプルで少なくとも1件のX文献を正確に検出できたことを表明しています。

Xリコール率（X Recall Rate）：

AIツールが可能な限り多くのX文献を漏れなく検索できるかを評価する指標です。この指標は、研究開発の立ち上げ段階や特許出願前の段階で特に重要です。より多くのX文献を把握することで、技術案の調整やクレームドラフトの改善につながり、最終的には特許の権利化率向上に寄与します。Patsnap Eureka新規性調査エージェントのXリコール率は36％。これは、Top100の検索結果の中でPatSnap Eureka新規性調査エージェントがサンプルのX文献の36%検出できていることを示しています。

応用価値と影響

PatSnap Eureka新規性調査エージェントは今回のテストで高い性能を達成できたのは、垂直領域モデルとRAG（Retrieval-Augmented Generation、検索強化生成）技術によるものです。本エージェントは、基礎となるオープンソース大規模モデルを特許分野の専門知識で体系的に調整しており、特許技術言語や検索ロジックを深く理解できるようになっています。さらに、エージェントはRAG技術を活用して高品質な検索作業を実行し、リアルタイム検索能力と生成能力を有機的に統合しています。この技術の組み合わせにより、新規性調査エージェントはテキスト中の重要な技術特徴を正確に把握し、精緻な検索戦略を実行し、信頼性の高い結果を提供することが可能であり、専門的な新規性調査業務において汎用大規模モデルを大きく上回る性能優位を示しています。

このような優位性により、企業や特許事務所で特許出願業務に従事する知的財産の専門家にとって、PatSnap Eureka新規性調査エージェントは、正確性を維持しながら新規性調査の効率を飛躍的に向上させるツールとして活用できると考えられます。従来は数時間かかっていた検索、抽出、並び替え作業をわずか数分で完了できるため、専門家はより高付加価値な分析や意思決定に注力でき、「3日かかっていた反復的な検索作業」を「3時間での高品質な分析作業」に置き換える効率的なワークフローを実現できます。

さらに、プロジェクトの事前調査や研究開発立ち上げを行う企業の開発チームにとっても、本エージェントは革新的なソリューションとなり得ます。初期段階で効率的な新規性調査を実施することで、新規性不足のリスクを大幅に低減し、開発リソースの潜在的な浪費を最小限に抑え、研究開発ワークフローに大きな変革をもたらせると考えれらます。

なぜ PatSnap PatentBench は必要なのか

世界中のR&Dチームは、毎年数十億、場合によっては数兆円規模の投資を行い、イノベーションを生み出しています。製品化できるかあるいは訴訟リスクに直面するか、また市場の先行者になれるかどうかは、多くの場合「特許」に左右されます。特許は法律的・技術的・戦略的要素が複雑に絡み合う領域であり、決して容易に扱えるものではありません。

特許関連業務― 検索、分析、明細書作成、審査、訴訟―は依然として高い専門性と知識が求められる高難度な業務です。ツールはあるものの、多くは高度な専門知識を前提としており、大量の処理や迅速な作業には向いていません。

一方、近年の大規模言語モデル（LLM）は飛躍的な進化を遂げており、検索式の生成、論文の要約、法的文書の翻訳など、多くの高度なタスクをこなすようになっています。

しかし、「AIは本当に知財実務のプロフェッショナルを支えうるのか？」という問いへの答えは、まだ明確ではありません。

技術密度の高い「クレーム（請求の範囲）」を正確に解釈できるのか？

新規性調査やドラフティングのような、複雑かつリスクの大きい核心業務を任せられるのか？

どこまでできて、どこがまだ不十分なのか？

PatSnapは、これらの懸念を解消し、AIの技術的限界と可能性を客観的に示すため、「PatentBench」を構築しました。

PatSnap PatentBench とは

PatentBenchは、AI が特許実務をどこまで遂行できるのかを評価するベンチマークです。AI が文章を作れるかどうかだけを確認するものではなく、法律的な微妙な判断や技術情報の解釈、特許業務の実務支援ができるかまでをしっかり定量的に評価します。評価は「特許実務に求められる 10 の基礎スキル」、「特許実務への応用能力」2つの軸で行われます。

1. 特許実務に求められる 10 の基礎スキル

特許業務の本質は、高度に専門化された文書の処理と理解にあります。そのため、優れた特許向けAIは、まず確かな基礎能力を備えていることが求められます。そこで、PatentBench は、特許実務に求められる能力を 10 の基礎スキルに設計することで、AIを包括的に評価することを目的としています。

特許Q&A能力

特定の特許文書、技術分野、特許法規に関する各種質問に正確に回答できるかを評価。質問の種類には、事実確認型（この特許の出願日はいつか？）、定義解釈型（「新規性猶予期間」とは何か？）、深層理解型（本特許の請求項3の技術的解決手段は、どのように主張された技術課題を解決しているか？）が含まれる。

特許解釈能力

特許文献の核心である請求項および明細書を適切に解析、発明の保護範囲を把握、主要技術構成・技術課題・解決手段を抽出できるかを評価。

特許翻訳能力

異なる言語間で特許文献を翻訳する際の正確性、専門性、構文処理能力を評価。原文の技術的意味を損なわず、かつ出願国の特許言語規範に適合した翻訳が生成できるかを確認。

情報抽出能力

膨大な特許テキストから技術課題、技術的効果、構成要素、解決手段といった重要情報を正確に抽出し、構造化データとして整理できるかを評価。

法務・実務知識

各国の特許代理資格試験や審査官試験に類似した問題を用い、特許法規、審査基準、手続要件、実務運用に関する知識をどの程度理解しているかを測定。

要約能力

長大で複雑な特許文献について、要旨、技術概要、請求項サマリーといった異なる形式の要約を生成する能力を評価。

分類能力

特許に記載された技術内容に基づき、適切なIPC等の分類に割り当てる能力を評価。

ドラフティング能力

特許出願書類、特に技術背景、課題、発明の内容、実施形態、請求項などの記載を支援できるかを評価。

マルチターン対話能力

複雑な発明内容や審査対応に関する連続対話において、モデルが文脈を保持し、ユーザからの追加質問・修正依頼に応じて回答を段階的に精緻化できるかを評価。

特許推論能力

与えられた特許Aと製品Bの技術的特徴に基づき、製品Bが特許Aの権利範囲に抵触する可能性を推論したり、特許Xと特許Yの間に引用関係、継承関係、抵触関係が存在するかを分析できるかを評価。これらは単なる表面的なスキルではなく、特許実務で求められる高度な思考そのものです。

2. 特許実務への応用能力

基礎能力が「基礎体力」だとすれば、実務への応用は「実戦」です。PatentBenchは新規性調査、FTO分析、特許翻訳などの主要実務において、AIの総合性能を検証すると計画。今後は、より多様な特許実務の応用シナリオへと拡大し、基準評価を深化させていく予定です。

新規性調査

FTO分析

特許翻訳（多言語対応）

明細書作成

意匠侵害

学術的な性能ではなく、AIが実際の特許業務で使えるかを評価します。

PatentBench の影響と今後の展望

技術発展の方向性を明確に

AI 開発者にとって、PatentBench は精緻な「能力マップ」および「タスクリスト」に相当し、特定能力の向上に向けた最適化方針を明確に示すことで、実務需要に即した特許エージェントの開発を可能にします。これにより、汎用能力における過度な競争に陥りつつ、専門領域では十分な性能を発揮できないという偏りを回避することができると考えられます。

専門家の選択に確固たる根拠を提供

特許実務者や企業が市場にあふれる「AI×特許」製品を前に判断を迫られる状況において、PatentBench は客観的かつ中立的な第三者評価の枠組みを提供し、ユーザーは自らの要件に最も適合するツールを評価結果に基づいて選択できるようになります。これにより、試行錯誤のコストが削減され、AI 技術の実務への導入と普及が加速されます。

業界全体の標準形成を後押

PatentBench の取り組みは、特許領域における AI の適用効果を評価する共通の基準を確立するきっかけとなり、健全な競争環境を醸成し、能力不足の製品を淘汰し、実効性の高い技術革新を促します。その結果、特許業界全体の知能化水準とサービス品質の向上につながります。

PatentBench の評価基準そのものも進化し続けていきます。AI 技術の発展および特許実務の高度化に伴い、今後はより広範かつ多様な特許業務シナリオを対象とした総合的な評価へと拡張していく予定です。

PatSnap PatentBench-新規性調査ベンチマークの評価基準と構築方法は下記の通りです。

1) テストサンプルの設計

有効な新規性調査性能を評価するためには、客観的で標準化された評価指標が不可欠です。そこでPatSnapは、複数の特許庁で並行審査された特許ファミリーを基に、評価用のサンプルセットを作成しました。

各テストサンプルは、「テスト問題」と「標準解答」から構成されるベンチマークの基本単位です。ここでの「標準解答」とは、審査官が新規性および進歩性を判断する際に実際に引用したX文献、つまり先行技術の実証集合を指します。

特許実務では、新規性判断に必要となる“完全なX文献リスト”が得られることはほとんどありません。そのため、専門家が現実的かつ再現性のある課題設定を行い、理想解に限りなく近い「標準解答」を構築しました。

2) サンプルセットの構築

統計的に信頼性のある評価を行うため、サンプルセットは地域、受理特許庁、技術分野など、実務で見られる多様性を適切に反映するよう設計されています。

さらに、LLMの事前学習データとの重複を避けるため、比較的近年の特許出願を中心に収集し、公平でバイアスの少ない評価を可能にしています。

3) 評価指標の定義

新規性調査の本質は、潜在的なすべてのX文献を見つけ出し、それによって「新規性および進歩性を満たしているか」を判断することにあります。「PatentBench–新規性調査」では、AIツールの新規性調査能力を評価するために、二つの重要な指標である「Xヒット率」と「Xリコール率」を採用しています。

Xヒット率（X Hit Rate）：

AIツールがX文献を適切に検索できるかどうかを評価する指標です。高いXヒット率は、特許審査の段階や技術開発の方向性を決定する「初期スクリーニング」段階では、検索プロセスを大幅に加速し、特許審査の効率を向上させることに非常に役割を果たしています。テストでは、TopKの検索結果の中に「X文献集」に含まれるいずれかのX文献が見つかった場合は「1」、見つからなかった場合は「0」として記録します。X文献を検出できたサンプル数の割合がXヒット率となります。TopKは上位100件、上位5件、あるいは上位1件など任意に設定でき、異なるTopKで算出したXヒット率によって、時間制約の異なる状況下での各AIツールの新規性検索性能を評価することができます。

Xリコール率（X Recall Rate）：

AIツールが可能な限り多くのX文献を漏れなく検索できるかを評価する指標です。この指標は、研究開発の立ち上げ段階や特許出願前の段階で特に重要です。より多くのX文献を把握することで、技術案の調整やクレームドラフトの改善につながり、最終的には特許の権利化率向上に寄与します。評価方法としては、サンプル全体に含まれるX文献の総数に対して、Top100の検索結果の中のX文献件数が占める割合をXリコール率として算出します。

本研究では、Xヒット率およびXリコール率の算出にTop100検索結果を使用しています。この範囲であれば、検索結果が少なすぎて重要な先行技術を見落とすことも、多すぎて人手で処理できる量を超えてしまうこともありません。人が特許の新規性調査を行う際のワークフローにも適合した設定であると考えられます。

4) テスト対象

AIツールは専門家の業務を支援し、効率を高めるために設計されています。そのため、AIツールの実務面のパフォーマンスを比較するのが不可欠です。当ベンチマークでは、特化型AIエージェントと汎用LLMを併せて評価し、基準値（ベースライン）を確立するとともに、それぞれの能力や限界をより明確に把握できるようにしています。

サンプルテストの一例

ここでは、1件のサンプルを例に、3つのAIツールがテストでどのように機能するかを示します。サンプルの「テスト問題」と「標準解答」は下図の通りであり、「標準解答」は図中の5件の特許ファミリーです。まず「テスト問題」（特許の明細書テキスト）を各AIツールに入力し、「標準解答」（X文献集）を用いて、AIによる新規性調査の結果の精度を評価します。

結果は次の通りです。PatSnap Eureka新規性調査エージェントでは、Top100の検索結果で3件の「標準解答」を正確に検出しました。 Xヒット率は100％、Xリコール率は60％となります。一方、汎用AIの方は、より多くのX文献を見つける能力は限定的であることがわかります。

これらの結果から、汎用AIは強力な一般化推論能力を有するものの、特許の新規性調査のような高度に専門化された実務では依然として大きな限界があることが示されます。専門領域に特化したAIツールの開発は、特許のような垂直的な業務シーンにおいて不可欠であり、その適用価値の高さを実証しています。

今後の展開

今後のベンチマークテストでは、テストサンプルの数を継続的に拡充し、より大規模なベンチマーク研究を実施するとともに、テスト結果を反復的に改善して、AIツールの新規性調査能力をより現実的かつ客観的に評価できるようにしていきます。

実際の運用においては、検索品質（Xヒット率やXリコール率を含む）は重要ですが、専門家がツールの効率を評価する際の唯一の基準ではありません。専門家は、新規性調査を行う際に、より高い検索精度を追求するだけでなく、時間効率やコスト効率も考慮する必要があります。

重要なX文献を見つけた時点で検索を終了し、効率を優先するのか、見落としリスクを下げるために徹底的かつ網羅的に検索するのか、社内で数日かけて検索作業を行うのか、あるいは有償で専門弁護士に外部委託してより専門的なサービスを受けるのか――これらはいずれも実務上で重要な意思決定事項です。