生成AI vs レイトン教授 #ナゾ023

ここ最近、画像問題でコテンパンにやられ続けています。
画像問題と戦えるようになるのはいつの日か・・・
そろそろプロンプトを根本的に見直す必要があるのかなぁ

【ナゾ023 ワインの分配】

ワインで満たされた8リットルのカップと空の5リットル、3リットルのカップがある。
カップには目盛りがないのだが、他の道具を使わずに、
8リットル、5リットルのカップに4リットルずつ分けてほしい。

【正解】

コレ一つが正解、と言う物は無いが、最速手は7回とのこと。

【生成AIによる攻略フェーズ】

文章問題キタコレ!
このバケツ問題(この問題はカップですが)って私も好きなんですよね。
生成AI達も苦手では無い、むしろ得意分野なのでは?と勝手な想像。

【第1回戦】

▼プロンプト① (※ゲーム原文そのまま)
ワインで満たされた8リットルのカップと
空の5リットル、3リットルのカップがある。
カップには目盛りがないのだが、他の道具を使わずに、
8リットル、5リットルのカップに4リットルずつ分けてほしい。

▼AI回答①

ChatGPTGeminiCopilot
プロンプト①に
対する生回答の
要約
・問題は完全理解
・回答早い
・問題は理解した模様
6手で回答してくる
・問題は完全理解
・回答早い
最終判断1.8→5 に注ぐ。状態:(3, 5, 0)
2.5→3 に注ぐ(3L を満たす)。状態:(3, 2, 3)
(中略)
6.5→3 に注ぐ(3L の残り 1L を満たす)。状態:(1, 4, 3)
7.3→8 に注ぐ。状態:(4, 4, 0) ← 完成
○1.8Lから5Lへ満たす
○2.5Lから3Lへ満たす
○3.3Lのワインを8Lへ戻す
×4.8Lから5Lへ満たす
×5.5Lから3Lへ満たす
×6.3Lのワインを8Lへ戻す
1.8→5に注ぐ: 8Lから5L満杯まで。状態:(3, 5, 0)
2.5→3に注ぐ: 5Lから3L満杯まで。状態:(3, 2, 3)
6.5→3に注ぐ: 3Lにはすでに2Lあるので、5Lから1Lだけ注ぎ3Lを満杯に。状態:(1, 4, 3)
7.3→8に戻す: 3Lの中身(3L)を8Lへ戻す。状態:(4, 4, 0)
結果
正解!
×
不正解

正解!

想像通り、この手の問題はわりかし得意と見え、皆それ程考慮時間をかけずに
サクッと回答を出してきました。そして2者が最短手による正解。
ただし、Geminiくんが途中で計算ミス?で不正解となってしまいました。

▼まとめと考察

3者とも、それぞれのカップの状態を含めての経過手順を出してきました。
不思議なのがGeminiの途中からの間違い。
ただし、Geminiの間違い手順は、間(4手目)に正しい1手を加えるだけで
その後は正しい手順だった所を見ると、頭では正解を理解していても
それをアウトプットするときに間違えてしまった(?)ようにも見えます。
Geminiが久し振りに人間くさい間違いをしてきた感じですね。

ちなみに、正解は下記の通り(Copilotくん回答)
1.8→5に注ぐ: 8Lから5L満杯まで。状態:(3, 5, 0)
2.5→3に注ぐ: 5Lから3L満杯まで。状態:(3, 2, 3)
3.3→8に戻す: 3Lを8Lへ戻す。状態:(6, 2, 0)
4.5→3に注ぐ: 5Lの残り2Lを3Lへ。状態:(6, 0, 2)
5.8→5に注ぐ: 8Lから5L満杯まで。状態:(1, 5, 2)
6.5→3に注ぐ: 3Lにはすでに2Lあるので、5Lから1Lだけ注ぎ3Lを満杯に。状態:(1, 4, 3)
7.3→8に戻す: 3Lの中身(3L)を8Lへ戻す。状態:(4, 4, 0)

コメント