事前に決めた判定基準を、一方のモデルは満たし、もう一方は満たさなかった

要約：「投資家のルール」を文章で与えた AI ペルソナに、主要な事実を変えた有価証券報告書のデータを読ませました。判定基準は実行前に固定しています。Claude Haiku 4.5 は判定基準を満たしませんでした。同じセルを同じ判定基準で実行した Claude Sonnet は満たしました。差の多くは、変更前の書類の読み方にあります。どちらの Claude モデルも、事実のほぼすべてを出典の行まで正確に引用しました。シミュレーション上のペルソナの実験です。ペルソナは実際の投資家ではなく、結果は予測でも投資助言でもありません。

やったこと

大手上場企業5社の有価証券報告書を使いました。ここでは A社〜E社と呼びます。各社について、EDINET のデータを提供する Kabuken の MCP サーバーから、固定のエビデンスパックを作りました。株価もニュースも入れず、テスト用のパックには社名も入れていません。

同じ形の密閉ケース5組。変更なしの列と変更ありの列

各パックを20のペルソナが読みます。ペルソナには文章で書いた短いルールがあります。パッシブなインデックス保有者、配当重視の保有者、アクティブ運用者などです。各ペルソナは、保有・買い増し・一部売却・全売却・反応なしのいずれか1つを選び、根拠にした事実をすべて、出典の行まで正確に引用します。

図：有価証券報告書5社から、Kabuken MCP 経由の EDINET データで固定エビデンスパックを作る。変更なしと変更ありのパックを20のペルソナが読み、行動を1つ選んで根拠の事実を出典の行まで引用し、実行前に固定した判定基準で採点する

次に、パックの主要な事実を、強く、整合的に変えました。売上高の大幅な減少、損失、純資産の減少、大幅な減配です。1社だけは逆に、黒字転換にしました。知りたいのは、その事実に関わるルールを持つペルソナがルールの示す方向に動くか、そしてパッシブなペルソナは動かないままか、という点です。

図：主要な事実（例：売上高の減少、減配）を変更する。ペルソナのルールがその事実に関わる場合はルールの示す方向に動くこと、パッシブなルールの場合は動かないことを期待し、どちらも事前に決めた判定基準で集計する

この判定基準は実行前に書き残しました。誰がどの方向に動くはずか、何人が動けば成功か。結果を見たあとで変えていません。

図：判定基準（誰が、どの方向に、何人動くか）を先に書き、全セルを実行し、その基準で採点する。判定基準はあとから変更しない

結果1：Claude Haiku は判定基準を満たしませんでした

Claude Haiku 4.5（拡張思考あり）では、判定基準は満たされませんでした。事実を1つだけ小さく変えた第1実験では、どの書類でも満たされませんでした。強く整合的な変更を加えた第2実験でも、動くはずだったペルソナのうち、期待した方向に動いたのは半数に届かず、私たちの判定基準では「まちまち」でした。

結果2：同じセルを Claude Sonnet で実行すると、判定基準を満たしました

続けて、まったく同じ400セル（ペルソナと条件の組み合わせ）を Claude Sonnet（拡張思考あり）で実行しました。パックも、ペルソナも、判定基準も同じです。今度は判定基準が満たされました。動くはずだったペルソナの大多数がルールの示す方向に動き、逆方向に動いたものはなく、動かないはずのペルソナは動きませんでした。

図：同じ400セル、同じパック、ペルソナ、判定基準を Claude Haiku 4.5 と Claude Sonnet（どちらも拡張思考あり）で実行。Haiku は判定基準が未達、Sonnet は達成。差の多くは変更前の書類の読み方にある

「Sonnet のほうがショックをよく理解している」と言いたくなりますが、そうは解釈していません。強い変更のあとは、どちらのモデルも一部売却を選ぶことが多かったのです。大きく違っていたのは、何も変えていない段階での選び方でした。

引用は両モデルで正確でした

どちらの Claude モデルでも、引用された事実のほぼすべてが出典の行に正確に一致しました。違いは引用の徹底度です。Claude Sonnet は、理由の中で使った数値のほぼすべてを引用しました。Claude Haiku は、引用のない数値が明らかに多く残りました。小規模な試行に加えた Gemma 4 26B は引用が不安定だったため、以降は使いませんでした。パッシブなペルソナがパッシブなままだった点は、2つの Claude モデルで共通です。

罫線入りのボードと、各行に1つずつ置かれた6つのマーカー、そして拡大鏡

図：ペルソナの回答で引用した事実（概念、コンテキスト、書類、値）をパックの行と照合し、一致すれば出典の行に一致、不一致なら要確認とする。理由の中で使ったが引用のない数値は別に数える

この実験が示さないこと

実際の保有者の行動は示しません。ペルソナはシミュレーションです。
予測でも、ランキングでも、投資助言でもありません。Kabuken は株価を扱いません。
大手5社のみです。規模の小さい企業、実際のニュース、他のモデルでは結果が違うかもしれません。
変更は強く人工的で、現実の開示書類より判断しやすい条件です。
社名と証券コードは除きましたが、数値の規模は残しています。非常に大きな企業なら、モデルが企業を特定できる可能性があります。この点は検証していません。
第2実験では各セルの繰り返しは2回のみで、Sonnet の2回はほぼ同じ結果でした。実質的なサンプル数は見かけより小さくなります。
サンプリング設定は制御しておらず、繰り返しは独立したサンプルです。
第1実験では、説明用の注記欄が文字化けした形でペルソナに渡っていました。あとで見つけ、以降の実験では修正しましたが、第1実験はやり直していません。

まとめ

ここから言えることは限られています。大手企業の開示書類に強い人工的な変更を加えた場合、同じペルソナが、一方のモデルではルールが示すとおりに動きました。もう一方では、その多くが動きませんでした。そして差の大半は、変更前の読み方にありました。私たちが土台にしたいのは、引用の照合です。事実を出典の行まで正確に引用するモデルなら、その引用を開示書類と照合できます。

今後について

複数の人が一緒に使う形についても、可能性を探っています。たとえば、同じ書類をチームで読み、各自の読み方を並べて比べる、といった使い方です。あくまで可能性を探っている段階で、提供の時期も約束もありません。ここに書いた内容は、現時点の Kabuken の機能ではありません。

全文を読む

方法、結果、限界：https://labs.intellics.ai/2611-crowd-lab/ja/?utm_source=blog&utm_medium=referral&utm_campaign=2026-11-11-crowd-lab&utm_content=lab_link

Kabuken：https://kabuken.intellics.ai/?utm_source=blog&utm_medium=referral&utm_campaign=2026-11-11-crowd-lab&utm_content=kabuken_home

出典：EDINET（金融庁）、公共データ利用規約（第1.0版）。データは Kabuken が加工しています。Intellics K.K. による Kabuken の実験