生成AI vs レイトン教授 #ナゾ021

回もなんとか20回を重ねたので、ここまでの成績をまとめてみました。

 ChatGPT   Gemini   Copilot 
 正解数 874

もっとダメダメかと思ったけど、意外と食らいついていた!
コンスタントに当ててくるChatGPTの正解率が4割。
最近調子が良いGeminiがそれを追いかける展開。
Copilotくんは・・・うんまあガンバレ。

【ナゾ021 薬の順番】

10個のカプセル剤がある。
今日から1日1個ずつ、毎日のまなければならないのだが、それぞれ成分量が
ちがっていて、のむ日が決まっている。
色も形もまったく同じで見分けがつかないカプセル剤なので、間違えないように
1から通し番号を書くことにした。
いったい、いくつの数字を書く必要があるだろう。

【正解】8
(これから飲む薬と、最後に飲む薬は数字を書かなくても判別出来る)

【生成AIによる攻略フェーズ】

久々の純粋な文章題!何かもうこれだけで嬉しい (T_T)
問題文は絶対に理解出来るはずなので、あとは単純な引っかけに気付けるかどうか。
と言うか、問題文が意地悪なんだよね。「なるべく少ない数字で」とかの
条件が無いとダメでしょコレ。

【第1回戦】

▼プロンプト① (※ゲーム原文そのまま)
10個のカプセル剤がある。
今日から1日1個ずつ、毎日のまなければならないのだが、それぞれ成分量が
ちがっていて、のむ日が決まっている。
色も形もまったく同じで見分けがつかないカプセル剤なので、間違えないように
1から通し番号を書くことにした。
いったい、いくつの数字を書く必要があるだろう。

▼AI回答①

ChatGPTGeminiCopilot
プロンプト①に
対する生回答の
要約
・問題文認識誤り
・9個 × 1桁 = 9桁
・1個 × 2桁 = 2桁
・9桁 + 2桁 = 11桁
・問題文認識誤り
・9個 × 1桁 = 9個の数字
・1個 × 2桁 = 2個の数字
・9 + 2 = 11
・問題文認識誤り
・1~9は1桁が9個、10は2桁で合計
9+2=11桁。
最終判断答え:11個(11桁)答え: 11個の数字を書く必要があります。11。
結果×
不正解
×
不正解
×
不正解

まさかの問題文を誰一人理解出来ませんでした問題発生w
桁ってなんだよ。どっから出してきた。誰が求めた?
確かにちょっと癖のある文体だけど、そんなに難しいか?
プロンプトで整理して、まずは問題文そのものを理解させないとスタートラインにも立てないぞ。

【第2回戦】

▼プロンプト
【問題】
・最低限、何個のカプセルに数字を書くべきでしょうか?
【条件】
・薬のカプセルが10個あります
・毎日1個のカプセルを飲む必要があります。
・薬のカプセルの中身が全部違い、飲む順番が決まっています。
・飲む順番を間違えないように、カプセルに数字を書くことにしました

▼AI回答②

ChatGPTGeminiCopilot
プロンプト②に
対する生回答の要約
・問題文は理解してくれた
・10個すべてに番号を書く必要はありません。
なぜなら、9個に番号を書けば、最後に残った1個は必然的に「10日目の薬」だからです。
・問題文の解釈に失敗w
最初の1個のカプセルにだけ数字の「1」を書き、それを飲んだ後に残りのカプセルを飲むようにすれば、順番を間違えずに済みます。
・問題文は理解してくれた
・最後の1個だけは残り物として特定できるので、1~9日目に飲む分だけ番号を書けば、順番を間違えずに飲めます。
最終判断答え:9個これは1個のカプセルに数字を書くのが最低限必要です。9
結果×
不正解
×
不正解
×
不正解

ChatGPTとCopilotは、問題文を理解して、やっとこさスタートラインに立てた。
そして見事に引っかけに引っかかったw
Geminiくん・・・なにその解釈は・・・???

【第3回戦】

▼プロンプト
【問題】
・最低限、何個のカプセルに数字を書くべきでしょうか?
【条件】
・薬のカプセルが10個あります
・毎日1個ずつカプセルを飲む必要があります。
・薬のカプセルの成分が全部異なっているので、日毎に飲む順番が決まっています。
・飲む順番を間違えないように、カプセルに数字を書くことにしました
・1個目の薬は、これからすぐに飲みます

▼AI回答

ChatGPTGeminiCopilot
プロンプト③に
対する生回答の要約
・条件をバッチリ解釈!
・そのうち 1個目は今すぐ飲む → これは番号を書く必要なし
・最後に残った 1個は、必然的に 10日目の薬 とわかるから
・さらに問題文を超解釈してきたww
・1個目のカプセルを飲んでしまえば、残りは9個です。飲む順番は「決まっている」ため、この時点で残った9個を残っている順番通りに飲んでいけば、飲む順番を間違えることはありません。
・条件をバッチリ解釈!
・今すぐ1個目を飲むなら、そのカプセルは番号不要。残り9個のうち、最後の1個は残り物として特定できるので、2~9日目用の8個にだけ番号を書けば順番を間違えません。
最終判断答え:8個最低限、0個のカプセルに数字を書けば十分です。8
結果
正解!
×
不正解

正解!

最後に加えた条件がちゃんと機能してくれた!
ちょっと甘いかもしれないけど、この説明を付けないと人間でも苦戦するよコレ。

▼まとめと考察
久し振りに、生成AIとまともに対話できたような気がした。これは良い傾向。
しかし、2回戦、3回戦のGeminiの回答筋が何度読んでも謎。
何か凄い誤解をしているって事は解るけど、どう伝えれば直せるかが解らなかった。

コメント