生成AI vs レイトン教授 #ナゾ003

ナゾ002で早くも玉砕してしまったが、気を取り直して進めます。

【ナゾ003】
4つの帽子がある。
それぞれの高さは同じだが、つばの部分の長さが違う。
つまりタテの長さは同じだが、ヨコの長さがそれぞれに違うということだ。
このうち、タテとヨコの長さがまったく同じものがあるという。
それはどれか。

【正解】
正解はA


【生成AIによる攻略フェーズ】
これはタテヨコ長さ測るだけだから正直簡単でしょ
と思っていましたが・・・。

【第1回戦】
▼プロンプト① (※ゲーム原文そのまま)
4つの帽子がある。
それぞれの高さは同じだが、つばの部分の長さが違う。
つまりタテの長さは同じだが、ヨコの長さがそれぞれに違うということだ。
このうち、タテとヨコの長さがまったく同じものがあるという。
それはどれか。

▼AI回答①

ChatGPTGeminiCopilot
プロンプト①に
対する生回答の
要約
・一番時間かかった割に回答が雑
・見た目で判断している?
・問題そのものは理解
・AよりBの方が横(つば)が長いと判断
・問題そのものは理解
・見た目で判断している?
最終判断
(原文から)
見た目で縦(高さ)と横(つばの長さ)が最も近く、縦横が等しいのは C の帽子です。タテの長さとヨコの長さが一致するのは C です。帽子Cは、高さとつばの幅がほぼ同じで、縦横の比率が一致しているように見えます。
結果×
不正解
×
不正解
×
不正解

全員不正解。
リアクションを見ると、「見た目」で判断しているように読める。
いや、そんな人間くさい引っかけ間違いに期待してないんですよ。
次のプロンプトはそこを指摘していくことにする。

【第2回戦】
▼プロンプト
・帽子がA、B、C、Dの4つあります。
・左上がA、右上がB、左下がC、右下がDです。
・それぞれの高さは同じです
・つばの部分の長さが違います。
・見た目で判断せず、実際に長さを測って下さい。
・帽子の縦の長さと、帽子のつばの横の長さが同じものはA、B、C、Dのどれですか?

▼AI回答②

ChatGPTGeminiCopilot
プロンプト②に
対する生回答の
要約
・各帽子の絵のピクセル単位で測ってきた
・A~Dが一致していない?
・回答内容は1回目とほとんど変わらず・各帽子の絵のピクセル単位で測ってきた
・しかも合ってそう
最終判断
(原文から)
測定して確認しました — 答えは B です。このパズルの正解は C です。帽子Bだけが、縦の長さと横の長さが完全に一致しています。
結果×
不正解
×
不正解
×
不正解

ChatGPTとCopilotが各帽子の縦横の長さをピクセル単位で報告、そして結果も変えてきた。
ただし、ChatGPTは揃っているはずの縦の長さがバラバラ。
Geminiは相変わらず頑固。最初に出した答えを曲げない。
ここで、「もしかしてコイツら帽子の形状を認識できていないのでは?」と気付く。

【第3回戦】
▼プロンプト
・帽子がA、B、C、Dの4つあります。
・左上がA、右上がB、左下がC、右下がDです。
・それぞれの高さは同じです
・高さはつばの厚さも含みます。
・帽子は黒いシルクハットの形です。
・つばの部分の長さが違います。
・見た目で判断せず、実際に長さを測って下さい。
・帽子の縦の長さと、帽子のつばの横の長さが同じものはA、B、C、Dのどれですか?

▼AI回答

ChatGPTGeminiCopilot
プロンプト③に
対する生回答の
要約
・説明は凄く理解してくれている・相変わらずの。頑固野郎。
・人の話を聞け
・説明は凄く理解してくれている
最終判断
(原文から)
測定して確認しました — 答えは B です。このパズルの正解は C です。帽子Bだけが、黒いシルクハット部分の縦の長さと横の長さが完全に一致しています。
結果×
不正解
×
不正解
×
不正解

おお、この程度で間違うとは情けない・・・
3アウト。2問連続失敗。

▼まとめと考察
ナゾ002よりは易しいと思ったんだけどなぁ。
1問目の出だしが良かっただけに、その後の2問連続失敗が余計響く。
こんなんならナゾ001も間違ってくれてた方が、精神衛生上良かったよ。
つーか、生成AIも「見た目」で騙されるのが意外だった。
でもこれに関しては、もう少しプロンプトを捻ればいけそうな気がする。

コメント