- デジタル庁の法令クイズ140問で4ツールを比較
- Claude(Sonnet 4.5)が92点で1位に
- ChatGPT・Copilot・Geminiと正確性を検証
ITmediaは2026年8月12日、法務業務で使える生成AIを見極めるため、主要な4ツールに「法令クイズ」を解かせる比較検証の結果を公開しました。使われたのは、デジタル庁が2025年10月初旬に公開した「日本の法令に関する多肢選択式QAデータセット」です。検証では、Claude(Sonnet 4.5)が92点で1位という結果になりました。
このデータセットは、GitHubで公開されている全140問の4択問題集です。金融商品取引法などをテーマにした専門性の高い問題が並び、法務の実務でAIがどこまで通用するかを測る目的で作られています。検証では、正解データを削除したうえで問題をAIに読み込ませ、各ツールがどれだけ正確に答えられるかを比べました。
法務の現場で生成AIを導入する際、最も重要になるのが回答の品質です。的外れな回答が返ってくると、かえって内容のチェックに余計な時間がかかってしまいます。これまではツールごとの実力を客観的に比べる指標が乏しかったため、こうした共通のデータセットで正確性を数値化できる意義は小さくありません。
今回の結果は、法務に限らず「自分の業務にどのAIが向いているか」を考えるヒントになります。ツールによって得意分野や回答の傾向は異なるため、導入前に自社の業務に近い課題で試し、品質を確かめる姿勢が、これからのAI選びではますます大切になりそうです。

「生成AIで業務効率を上げたい」、「ChatGPTを実務で使えるようになりたい」 このような方に