1社の数字は Web 検索でも取れました。業種のスクリーニングで差が出ました
要点。 日本の上場企業を複数社まとめて尋ねる12の質問に、同じ系統のモデルを使う2つのアシスタントが答えました。アシスタントA(以下 A)は Web 検索あり、アシスタントB(以下 B)は Kabuken の MCP サーバーのみ(Web 検索なし)です。Web 検索では、採点した245の数値のうち237が開示値と一致しました。ただし、A は有価証券報告書そのものを1つも読んでおらず、書類IDの付いた数値もありませんでした。数値の出どころは、第三者のサイト、ニュース、決算の要約です。Kabuken 経由では253の数値すべてが一致し、すべてに EDINET の書類IDが付いていました。いちばん差が出たのは業種のスクリーニングです。小さな実験なので、限界も後半で正直に書きます。
今回見えた差は「1つの数値が合うかどうか」ではありません。読み手が各数値の裏にある書類そのものを開けるかどうか、そして業種全体を一覧にできるかどうか、です。
なぜ「書類までたどれるか」を見るのか
決算短信は速報で、後から提出される有価証券報告書と数値が一致するとは限りません。まとめサイトの数値は、どの書類のどの数値を、どの定義で計算したのかが見えないこともあります。数値が合っていても、出典が有報でなければ、自分で確かめるには結局有報を開くことになります。そこで今回は、数値が合っているかに加えて、その数値がどこから来たかも数えました。
これまでの2回
第1回は、3つのアシスタントに大手10社の主要5項目を聞きました。150の数値すべてが開示値と一致しました。
第2回は、Web 検索を使う1つのアシスタントに、セグメント、過年度、中小型株、直近の期、日本語の質問など、より難しい1社単位の質問をしました。45問中40問が正解で、捏造された数値はありませんでした。一方で、48の数値のどれについても、アシスタントは有報そのものを読んでいませんでした。出典は決算短信、会社の発表、ニュース、データサイトで、多くはアシスタント自身が「未確認」と書いていました。
1社の数字を引くだけなら、Web 検索でもかなり答えられます。そこで第3回は、アナリストや個人投資家が実際に欲しい「複数社をまとめた表」を聞きました。
なお、書類そのものを読むアシスタントは今回試していません。書類を渡せば、最近のモデルは1つの数値をよく読み取れることを示す検証もあります。私たちが確かめたかったのは、アシスタントが Web 検索しか持たないときに何が起きるか、です。
何を聞いたか
英語10問、日本語2問です。英語は、業種スクリーニング3問、指名した5〜7社の比較3問、4社または3社の5年推移2問、レバレッジや利益率の確認2問。日本語の2問は、スクリーニング1問と比較1問を日本語で聞き直したものです。スクリーニングの例は「医薬品業で ROE 15%以上かつ負債合計が自己資本の0.5倍以下の会社を、ROE の高い順に最大10社、各行の出典書類つきで」です。質問には社名と証券コードだけを書き、EDINET や Kabuken には触れていません。
正解は、どの回答も読む前に固定しました。正解表は Kabuken のツールで作ったため、B に有利になり得ます。そこで、EDINET から取得した原本の XBRL と別途突き合わせました(この照合側では Kabuken のコードを使っていません)。64の書類にわたる364の値が、すべて完全に一致しました。採点は両方とも同じルールです。回答が書いた桁の丸めの範囲で開示値と一致すれば正解としました。

結果
| アシスタントA:Web 検索 | アシスタントB:Kabuken MCP | |
|---|---|---|
| 開示値と一致した数値 | 245中237 | 253中253 |
| 開示値と異なった数値 | 6(質問項目5、補足1) | 0 |
| 開示されているのに示されなかった数値 | 2 | 0 |
| 捏造された数値 | 0 | 0 |
| 書類IDの付いた数値 | 0 | 253 |
| 順位づけが正しかった問い | 6中6 | 6中6 |
| スクリーニングの再現率(4問) | 0、0.33、0、0.33 | 1、1、1、1(参考値、後述) |
| 日本語の2問を完全に答えた数 | 2中0 | 2中2 |
差が出たのはスクリーニング
A は、業種全体のこの比率のランキングは Web になく、業種の約100社の有報を開くこともできない、と自ら書いています。これはモデルの限界ではなく Web 検索の限界です。検索しか持たないアシスタントには、列挙の元になる一覧がありません。医薬品のスクリーニングでは、条件を満たす3社のうち1社を確認しました(英語でも日本語でも同じ結果)。輸送用機器と小売業では一覧を出しませんでした。輸送用機器の回答は、太字で「両方の条件を満たす会社はない(確認済み)」と書き、その下で確認した数社に限った話だと補足しています。Kabuken のスクリーニングでは、この業種で条件を満たす会社が5社あります。
B は Kabuken のスクリーニング機能を使い、4問とも正解一覧の会社をすべて挙げました。
ここで大事な注意があります。スクリーニングの正解一覧は、Kabuken 自身のスクリーニング結果から作りました。B も同じ機能を使ったので、B の再現率1は「ツールを正しく読めた」ことを一部示すにすぎません。スクリーニングの数値は参考値として読んでください。なお、一覧に挙がった各行の数値は、原本の書類と照合済みです。
数値の出どころ
A の数値は、第三者のサイト、ニュース、決算の要約と、自分の計算から来ていました。それらのサイトの中には有報をもとに作られたものもありますが、A 自身は書類を1つも読まず、書類IDも示していません。12問すべてで、A は「有報とは照合していない」と書いています。B は207の数値を Kabuken のツール出力から直接読み取り、46の数値をそれらの値から計算しました。すべての数値に書類IDが付いているので、誰でも EDINET で同じ書類を開いて確かめられます。そのうち10の数値は、ある1社の訂正有価証券報告書を出典としていました。B はこの点を自分から説明しています。

Web 検索が良かった点
A は比較の順位づけをすべて正しく答え(6中6)、数値を捏造せず、不確かな箇所はそう書いていました。開示値と異なった質問項目の数値5つのうち4つは、数千億円から数十兆円の数値で1億円未満の丸めや切り捨てのずれです。たとえばトヨタ自動車の連結の売上(損益計算書の最上段)を「50,684.9 billion yen」と書いており、開示値は50,684,952百万円です。残る1つは値そのものの違いで、NEC の親会社所有者帰属持分比率を47.3%としていましたが、開示値は49.2%です。日本語の質問では弱く、日本語の比較では2社の比率を「未確認」とし、1社が誤りでした(12中9)。
この結果から言えないこと
- スクリーニングは一部循環しています。 正解一覧は Kabuken 自身のスクリーニングから作りました(前述)。
- 実行の仕組みが違います。 A は API 経由で1回だけ実行し、検索は1問15回までです。B はエージェントのセッションで実行し、やり直しや照合ができました。B の日本語2問は、英語の回答で得たツール結果を使い回しています。
- 7日の差があります。 B は A の7日後に、同じ固定した正解に対して実行しました。
- 同じ系統のモデルです。 A と B は同じ系統のモデルを使っています。差はデータの経路を示すもので、モデルの能力差ではありません。
- サンプルは小さいです。 12問です。指名した会社は3月決算の大手企業です。
- スクリーニングでは定義が違います。 スクリーニングの ROE は Kabuken が平均自己資本で計算した値で、会社が開示する ROE ではありません。B は各回答でその旨を書いています。Web ではこの定義の値はあまり得られないので、スクリーニングは定義の比較も含みます。
- B の不足点。 スクリーニングの回答で、B は証券コード欄を空欄にしました。ツールが返したのは EDINET コードだったためです。
- 投資助言ではありません。Kabuken は株価を扱いません。
まとめ
1社の1つの数値なら、今回の範囲では Web 検索でもよく答えられました。業種をまたぐ表になると、Web 検索には列挙の元になる一覧がなく、書類IDの付いた数値もありませんでした。今回の実行では、開示書類のデータベースが同じ問いにすべて答え、各数値に EDINET で確かめられる書類IDを付けていました。
Kabuken が役に立つ場面
Kabuken は、日本の上場企業が EDINET に提出した開示書類をもとに答えます。次のような場面でお使いください。
- AI アシスタントから業種全体をスクリーニングする。 開示された数値を条件にして、条件を満たす会社を一覧にできます。Web 検索には、業種の会社を順に調べるための一覧がありません。
- 有価証券報告書の奥まで聞く。 役員と株主総会の役員候補者、女性管理職比率・男性の育児休業取得率・男女の賃金の差異、大株主、所有者別状況、政策保有株式、セグメント、注記について質問できます。書類の中の任意の1項目にも、段階的にたどり着けます。
- 数値を確かめて、引用する。 すべての数値に出典の EDINET 書類IDが付くので、元の書類を開いて確認できます。
大企業の主要な数値を1つ知りたいだけなら、Web 検索でもたいてい正しい答えが得られます。
使うツール
業種のスクリーニングは screen_companies、役員と人的資本は get_company_financials(include: ["officers"]、["human_capital"])、大株主の状況・所有者別状況・政策保有株式は get_major_shareholders、セグメントは get_segment_breakdown で取得します。注記を含む書類の任意の1項目は、get_financial_facts で1階層ずつたどるか、query でラベルや要素名を検索して取得します。フィールドの詳細はドキュメントをご覧ください:https://kabuken.intellics.ai/docs/ja/api/tools/?utm_source=blog&utm_medium=referral&utm_campaign=2026-11-16-verify&utm_content=docs_tools
出典:EDINET(金融庁)、公共データ利用規約(第1.0版)。データは Kabuken が加工しています。Intellics K.K. による Kabuken の実験です。
