生成AIのハルシネーション検証法!複数AIの回答比較で嘘を見破る

生成AIのハルシネーション検証法!複数AIの回答比較で嘘を見破る

生成AIは非常に便利で今や欠かせないツールですが、高頻度で混ざり込む「ハルシネーション(AIの嘘や誤認)」が課題です。今回は、狙っている高配当・優待株15銘柄の総合利回り計算を3つの生成AI(ChatGPTGeminiNotebookLM)に同時に依頼しました。その結果、Geminiが犯した驚きの計算ミスと、複数のAIを比較・検証させることでハルシネーションを見破る実践的な活用プロセスを共有します。(2026.7.8)

  • 15銘柄の新規購入・買い増し候補株について、生成AIに総合利回りの計算と順位付けを依頼。
  • ChatGPTとNotebookLMは正解を導いたが、Geminiは計算プロセスで致命的なバグを露呈。
  • ハルシネーションを防ぐには、複数の生成AIに同じプロンプトを投げ、相互検証させるのが効果的。

〈PR〉

資格不要で稼ぐなら「クラウドワークス」

高配当・優待株15銘柄の総合利回りを監視する理由

依然として株高の状況のため「欲しいな」と思っている銘柄はどれも、わたしが「この価格になったら買おう」と思っている水準を上回っています。 

買えない状況が続くと、欲しい銘柄は日が経つにつれて増えてくるため、とうとう15銘柄にもなってしまいました(実際はあと2銘柄あるのですが、これはすでに指値注文中なので除外) 

しかも、新規購入ならともかく、一部は買い増し銘柄です。 

あと〇〇株買い増せば優待が〇〇円分グレードアップする、みたいな銘柄の場合、買い増す株数とグレードアップする優待額を前提にしないとならず、ヤフーファイナンスで「監視銘柄」というタイトルのポートフォリオを作って15銘柄の株価を監視していても、どの順番でコスパ(=総合利回り)がいいのか、正直わかりにくいのが実情です。 

そこで、きょうの株価(7月8日終値)と1株あたりの配当金、株主優待で得られる金額を一覧にして、生成AIに総合利回りを計算させたらどうだろうか、と考えました。 

ChatGPTとGeminiに共通プロンプトで計算依頼

次のような共通プロンプトを作成して、最初にChatGPTとGeminiに計算させてみました。 

共通プロンプト》 以下の銘柄について、株価と得られる優待・配当から、コストパフォーマンスがいいのはどういう順番か、計算してください。

  • イー・ガーディアン(6050) 株価1733円、配当38円、優待:100株で5000円 
  • cotta(3359) 株価524円、配当10円、優待:1000株で1万円 
  • アトラエ(6194) 株価715円、配当34円、優待:1500株で2万5000円 
  • リズム(7769) 株価3810円、配当167.6円、優待:100株で1万5000円 
  • セグエグループ(3968) 株価584円、配当18円、優待:2000株で3万円 
  • ウィルズ(4482) 株価711円、配当18円、優待:2000株で4万8000円 
  • シンプレクス(4373) 株価1057円、配当24円、優待:1500株で2万5000円 
  • 第一実業(8059) 株価3190円、配当125円、優待:400株で2万円 
  • ライク(2462) 株価1504円、配当60円、優待:500株で1万1000円 
  • ウィルグループ(6089) 株価1082円、配当44円、優待:500株で1万円 
  • アルコニックス(3036) 株価2456円、配当90円、優待:500株で1万6000円 
  • リコーリース(8566) 株価6360円、配当256円、優待:200株で3000円 
  • マースグループ(6419) 株価3115円、配当150円、優待:500株で2000円 
  • 平和不動産(8803) 株価2370円、配当103円、優待:200株で4000円 
  • クイック(4318) 株価768円、配当38円、優待:1000株で500円 

セグエ、ウィルズ、アルコニックス、リコーリース、マース、クイックの優待は、わたしが買い増すことで優待のグレードが額面でいくら変わるか手計算した金額なので、純粋な意味での総合利回りではありません。 

あくまで自分が買い増すかどうかの判断材料を得ることが目的なので、その点はお含みおきください。 

計算結果のズレを3つの生成AIに相互検証させる

すると、両方の回答がまったく違っていました。 

なんだこれは!生成AIは計算が得意なんじゃないのか? 

そこで、両方の回答をワードにコピペしてPDFを作成。今度はChatGPT、Gemini、NoteookLMにPDFをアップロードして、以下の共通プロンプトで訊ねてみました。 

共通プロンプト》同じ質問をしたところ、チャットGPTとジェミニでかなりデータが異なる回答が出てきました。株価と配当、優待額という数字の計算ですから、同じ答えが導き出されるはずなのに、まったく異なります。
ソースのPDFに両方の回答を載せていますので、なぜ回答が異なるのか理由を説明してください。そのうえで、これが絶対に正しいと思う回答を示してください。

その結果は、ChatGPTが完全に正解で、Geminiの回答がハルシネーションという結果でした。 

ChatGPTに喧嘩を売ったGeminiの強気な誤回答

でも、2度目の共通プロンプトに対するGeminiの回答が抱腹絶倒ものだったんです。

どんな回答だったか、おもしろいところを抜粋してみましょう(誤回答は背景をピンク、正答はイエローにしました。ゴシックは生成AI自身がつけたものです)

結論から申し上げますと、ChatGPTの回答には致命的な「計算ミス(ハルシネーション:人工知能の嘘・誤認)」が多数含まれており、Geminiの回答の計算プロセスが数学的に正しいものとなります。 

お~、すごいなあ。ChatGPTに真正面から喧嘩売ってるなあ… 

1. なぜ回答がこれほど異なるのか?(原因の解説) 

AI(特に従来のChatGPTなど)は、表形式の計算や割り算・掛け算を伴う複雑なステップを処理する際、「それらしい数字」をそれっぽい表の中に当てはめて出力してしまう悪癖があります。 

今回の2つの回答を比較すると、以下の3つの決定的な違い(ChatGPTの誤り)があります。 

① 1株配当と「必要株数に応じた配当金」の掛け算のミス(ChatGPTの誤り) 

これが最も大きなズレを生んだ原因です。 

ほうほう、どんなふうにChatGPTは掛け算を間違えたのかな? 

例えばリズムの場合: 

  • 条件:株価 3,810円、1株配当 167.6円、優待に必要なのは 100株。 
  • 正しい計算:
    • 必要投資額 = $3,810 \times 100 = 381,000$円 
    • 年間配当金 = $167.6 \times 100 = 16,760$円 
    • 優待価値 = 15,000円 
    • 年間受取額合計 = $16,760 + 15,000 = 31,760$円 
    • 正しい総合利回り = $\frac{31,760}{381,000} \times 100 = \mathbf{8.336\% \dots (約8.34\%)}$ 

リズムに関しては、ChatGPTも計算が合っています。しかし、他の銘柄(アトラエなど)で大崩れしています。 

あれ?「リズムに関しては、ChatGPTも計算が合っています」って……。さっきの啖呵はどうした? そもそもリズムの総合利回りを、Geminiは3.80%と吐き出していたのは、どうなるの? 

最終的に自らの数式バグを認めてグダグダになるGemini

② ChatGPTの致命的な計算ミス(実例) 

アトラエを例に挙げてみましょう。 

  • ChatGPTの表にあるデータ:必要投資額 1,072,500円、年間配当 51,000円、優待 25,000円、合計 76,000円。 
  • ChatGPTが算出した利回り:7.09% 
  • 実際の算数:$\frac{76,000}{1,072,500} \times 100 = \mathbf{7.086\% \dots (約7.09\%)}$ 

一見、ここまでは計算が合っているように見えます。しかし、そもそも「年間配当 51,000円」という前提が間違っています。 

  • プロンプトの条件:アトラエの配当は「34円」、優待に必要なのは「1500株」です。 
  • 正しい配当金:$34 \text{円} \times 1,500 \text{株} = \mathbf{51,000\text{円}}$。ここまでは合っています。 

おっと、アトラエもChatGPTは合っているわけね? だったらGeminiの総合利回りは5.22%というのは間違えということ? 

ということで、威勢のいいのはここまで。ここからGeminiはグダグダになります。 

では、なぜGeminiとChatGPTで数値が違うのかというと、Gemini側の計算に誤り(バグ)があったためです。 

大変申し訳ありません。先ほどのGeminiの回答を精査したところ、Geminiは「合計受取額(配当+優待)」を「必要投資額」で割るべきところを、分子を「配当金単体」や「優待単体」で計算してしまうという致命的な数式処理のバグを起こしていました。 

  • Geminiの先ほどのミス(アトラエ):$\frac{51,000 \text{(配当)} + 25,000 \text{(優待)}}{1,072,500} = 7.09\%$ になるはずが、なぜか「5.22%」と出力しています。 

往生際の悪いGeminiは「どちらも計算ミス」と主張

それでもまだGeminiは往生際が悪くて、 

③ 結論:どちらのAIも計算ミスを起こしていた 

  • ChatGPT:割り算の%算出は合っているが、銘柄によっては足し算や掛け算を間違えている(例:イー・ガーディアンの $\frac{8,800}{173,300} = 5.077\%$ なのに、表の他の箇所では利回り計算のロジックが破綻している部分がある)。 
  • Gemini(前回の回答):必要投資額や配当金の掛け算は完璧(綺麗に100倍、1500倍できている)だが、最後の「利回り(%)」を出す割り算のフェーズでAI特有の計算狂いを起こしていた。 

と書いています。

しかし、「ChatGPTが足し算・掛け算を間違えている」とGeminiが指摘するイー・ガーディアンは、ChatGPTは5.08%、Geminiは3.22%という回答でしたから、これもChatGPTが正しかったことになります。 

かわいそうに、2度目の共通プロンプトで吐き出させた「絶対に正しいと思う回答」は、ChatGPTの最初の回答とまったく一致していました。つまり、Geminiの完敗です。 

NotebookLMがつれない回答で示すGeminiの完敗

同じGoogleのNotebookLMはどう答えるかな…と興味があったのですが、Geminiに同情の余地なしというような回答でした。以下、NotebookLMの回答です。 

ソース資料を確認したところ、回答が異なる主な理由は「計算過程における算術的なミス(ハルシネーション)」にあります。 

  • 計算の正確性: 
  • チャットGPTの回答: 提示された計算式「総合利回り(%) = (年間配当額 + 優待額) ÷ 必要投資額 × 100」に忠実に計算されており、各銘柄の計算結果は数学的に正しいものです。 
  • ジェミニの回答: 表内の「必要投資額」「配当金」「優待価値」の数値自体は正しい(チャットGPTと同じ)ものの、それらを使って算出された「総合利回り」のパーセンテージが、計算式の結果と一致していません。 
  • 結論: 
  • ジェミニは表を作成する過程で、計算結果ではない数値を「総合利回り」の列に並べてしまった、あるいは内部的な計算ミスが発生していると考えられます。したがって、ソース資料内ではチャットGPTの回答の方が、提示された計算式に基づいた正確なデータを示していると言えます。 

NotebookLMのつれない回答が、Geminiの完敗ぶりを浮き彫りにした格好です。

複数AIの回答比較でハルシネーションを見破る方法

最初のGeminiの回答をみて思ったのですが、スラスラときれいな表形式で回答を出してくれます。もし、ChatGPTにも同じ質問をしていなかったら、鵜呑みにしてしまったでしょう。 

ハルシネーションは防ぐのが容易ではないし、簡単には見破れないーーということを前提にせざるを得ないでしょう。とはいえ、いちいち手計算するのは面倒です。 

なので、わたしのように複数の生成AIに同じ質問をして、違っていたらそれぞれに検証させる、というやり方が、ハルシネーションを見破る最も効果的な方法ではないでしょうか。 

3つの生成AIが導き出した正確な総合利回りランキング

最後に、NotebookLMの回答とChatGPTの回答(1度目も2度目も)、そしてGeminiの2度目の回答はぜんぶ同じ並びで同じ数字でしたので、その回答を共有します(代表して、NotebookLMの回答) 

ソースの共通プロンプトにあるデータに基づき、改めて正確な計算((配当×株数+優待)÷(株価×株数))を行い、コストパフォーマンスが良い(総合利回りが高い)順に並べました。 

順位銘柄名必要投資額年間受取合計(配当+優待)総合利回り
1リズム381,000円31,760円8.336%
2アトラエ1,072,500円76,000円7.086%
3ウィルグループ541,000円32,000円5.915%
4ウィルズ1,422,000円84,000円5.907%
5セグエグループ1,168,000円66,000円5.651%
6第一実業1,276,000円70,000円5.486%
7ライク752,000円41,000円5.452%
8平和不動産474,000円24,600円5.190%
9イー・ガーディアン173,300円8,800円5.078%
10クイック768,000円38,500円5.013%
11アルコニックス1,228,000円61,000円4.967%
12マースグループ1,557,500円77,000円4.944%
13リコーリース1,272,000円54,200円4.261%
14シンプレクス1,585,500円61,000円3.847%
15cotta524,000円20,000円3.817%

投資判断のポイント 

  • 圧倒的なコスパ: リズム(8.34%)とアトラエ(7.09%)が他を大きく引き離しています。 
  • 少額投資の優良銘柄: 利回り5%を超えつつ、投資額が比較的抑えられるのはイー・ガーディアン(17.3万円)やリズム(38.1万円)です。 
  • 投資額の注意: ウィルズやセグエ、シンプレクスなどは利回りも注目に値しますが、優待獲得のために100万円以上の初期投資が必要となる点に注意が必要です。 

前の方でも書きましたが、買い増し候補の銘柄は、買い増すことで優待額がどれだけ上がるかで計算しているので、銘柄自体の総合利回りとは異なります。その点はご留意ください。

でも、この結果をみれば、リズムとアトラエの総合利回りの高さは要注目ですし、わたしが買い増しを想定している銘柄はウィルズとセグエに絞ってもよさそうだな……と思います。 

そして何より、この生成AI3者共通のデータをもとにポートフォリオの順番を並び変えて、明日以降の株価ウォッチの材料にしようと思います。 

(いしばしわたる) 

〈PR〉

登録は簡単、3ステップのみ!無料会員登録はこちら