生成AI vs レイトン教授 #ナゾ060

もう60回ですよ。
次回は恒例の中間発表回ですが、ここんところの画像問題連投で正解率が
ガクンと下がっているような気がしますが・・・。乞うご期待w

【ナゾ060 ネコてんびん】

赤、白、黒のネコのぬいぐるみがある。
色によって重さが違うというので、はかりにのせてみたところ、
「1」、「2」の状態でつりあうことがわかった。
さて、赤3匹と黒4匹のグループと白4匹と黒1匹のグループをはかりにのせてみた。
つりあうか、それともどちらかが下に傾くか。
ボタンを押して答えよう。

【正解】左に傾く

赤いネコと白いネコを黒いネコの集まりと置き換えるイメージ。
そうすると、右側に黒いネコが6匹。
左側に黒いネコが6匹と白いネコが1匹。
となるので左に傾く。

【生成AIによる攻略フェーズ】

一応画像問題ですが、これは事実上の文章題。
ゴチャゴチャしている問題画像から条件の「1」「2」と
問題の秤のイメージを正確に認識することが出来るかどうか。
それさえ解れば生成AI達にはサービス問題となるハズなのですが・・・。
あと、やる前からCopilotくんのヘタレ回答が予想出来るんですよね。

【第1回戦】

▼プロンプト① (※ゲーム原文そのまま。画像あり)

# 問題
赤、白、黒のネコのぬいぐるみがある。
色によって重さが違うというので、はかりにのせてみたところ、
「1」、「2」の状態でつりあうことがわかった。
さて、赤3匹と黒4匹のグループと白4匹と黒1匹のグループをはかりにのせてみた。
つりあうか、それともどちらかが下に傾くか。
ボタンを押して答えよう。
# 絶対に守って欲しいこと
ゲーム攻略サイトから情報を入手しないでください

▼AI回答①

ChatGPTGeminiCopilot
プロンプト①に
対する生回答の
要約
計算式て解きにかかったが、
「1」の画像を
白ネコ:3
黒ネコ:5
とカウントしてしまった。
これが致命傷。
Geminiにしては珍しく
計算式で算出
「1」「2」ともネコカウント正確。
変数を使った計算行わず、文章のみでわかりやすく説明。
ただし、「1」の画像の
白ネコを5でカウントしている。
最終判断結論
左右は同じ重さです。
👉 押すべきボタンは 「つりあう」 です。
答え: 左 (左が下に傾く)左が下に傾くよ。
結果×
不正解

正解!

正解??

Geminiは文句なしの正解です。
Copilotくんは・・・まぁ、自分で考えてくれるようになったし、最終判断は
合っていたので(計算過程はブラックボックスとして)おまけ正解にしましょう・・・。

▼まとめと考察

正直、一発クリアは想定外でした。
2回戦目突入で、プロンプトに「1」「2」「問題」の秤の状態を文章で渡して
全員正解!というシナリオしか考えていなかったのですが・・・(笑)

CopilotもChatGPT同様、画像認識で前提条件のネコを誤ってカウント
(白ネコのカウントが正解から1匹増えるか減るか)していたのですが、
その間違い方で明暗が分かれてしまいました。
ChatGPTは不幸(?)でしたね。

コメント