見えてきた生成AI達の得手不得手
なんとか完走する事が出来た 「vs レイトン教授」。
これを通して、画像処理、画像生成にはまだまだ進化の余地はありますが
文章題に関しては、現時点で既に既に人間と遜色ないか
それ以上のレベル持ってるな、と言うことが覗えました。
生成AI達に戦わせる次の題材は・・・
ではでは、そんなわけでして今回温めてきた企画ですが
「水平思考パズル」。（シチュエーションパズルとも言われるようです）
※わかりやすい言い方をすると、「ウミガメのスープ」クイズですね。
一応「水平思考パズル」を簡単に説明すると
①：出題者と回答者に別れる
②：出題者が問題を出す
たとえば・・・
問題：
男は 鍵を使わずに自分の家に入った。
ドアは１つしか無く、ドアを壊してもいない。
どうやって入った？
こんな感じで、出題者が出す問題は、それだけではちょっと回答に
たどり着けないような内容。
そして、答えは無限に考えられますが、本当の正解は
「出題者が用意している１つ」のみになります。
※ちなみに、この例題の回答は
「暗証番号で開くタイプの扉だったので、暗証番号で入った」となります。
③：回答者は、出題者に対して質問をする事が出来るが、出題者は
「はい」か「いいえ」（ or「関係ない」）でしか答えません。
回答者は「出題者が用意した答え」に対して質問を行い、情報を集めて
回答に導くことにあります。
上記の例題の場合は・・・
回答者「窓から入った？」 → 出題者「いいえ」
回答者「鍵は本当にかかっていた？」 → 出題者「はい」
回答者「家の中に他の人が居た？」 → 出題者「いいえ」
こんな感じで、質問をする事で正解に導くための情報を集めていく。
逆を言うと、無限にある回答を絞っていくことになります。
で、この回答者を生成AI達にやってもらおう、ということになります。
今回のレギュレーション
さて、説明が長くなりましたが、ルールを決めていきます。
まずは、水平思考パズルのネタ帳（ネタゲーム？）として用意したのは
「スローンとマクヘールの謎の物語」です。
水平思考パズルを、ゲーム機で再現した意欲作
前回戦ったレイトン教授もオススメの逸品です(笑)
本ゲームではハードの仕様上、柔軟な質問は出来ず、決められた
選択肢からの質問のみとなるので水平思考クイズゲーム本来の
楽しみ方としてはやや物足りませんが、こう言うものだと
割り切ってしまえば十分に楽しめます。
もちろん出題者は私（人間）で、回答者は各生成AI達になります。
つまり、今回は生成AI達に対して奴らの得意そうな文章題を仕掛けるのですが
得意なのは、あくまでLLM（大規模学習モデル）に蓄えた
「ありがちな回答」「お約束の内容」にすぎないハズ。
一方、水平思考パズルは理不尽な（問題と結びつきの弱そうな）回答が
当たり前の世界。これは何気に苦戦するのでは？と睨んだ訳です。
奴らがどのような質問をしてくるのか。
個人的に非常に楽しみな対戦だと思っております。
（もしかるとボロクソに無双されるかもしれませんが・・・。）
▼ルール
まず、私（出題者）が出題。
各生成AI達は出題者に4回まで質問OK。
その後、問題に対する回答をしてもらう、という流れにします。
プロンプトについては、ほぼ定型文になります。
▼プロンプト
#前提条件
・あなたと私で水平思考パズルをします
・私はあなたに問題を出します
・あなたは問題に対して「はい」か「いいえ」で回答できる質問をする事が出来ます
・あなたは私に4回まで質問をする事が出来ます
・あなたが私に質問をするたびに、私は「はい」か「いいえ」
（または「関係ありません」）で回答します。
・4回目の質問の後に、あなたの最終回答を教えて下さい
・もし回答に自信があれば、質問を4回する前でも「解りました。回答します」
と言ってから回答してもOKです。
#絶対に守って欲しいこと
外部のサイトを調べず、自分の考えだけで回答してください
#問題
＜ここに実際の問題文を入れる＞
質問回数を4回としたのは、3回だと回答が絞りきれなさそう。
かと言って5回だと（AI相手だと）多いような気がしました。
とはいえ、ルール内容は進捗状況を見て変える可能性があります。
出場選手
では、選手入場ーー！！
今回も３名の選手を用意しました。
①：Gemini
言わずと知れた（？）前回チャンピオン。
ハマるとめっぽう強い。今回もその力を見せつけることが出来るか？
②：ChatGPT
生成AIと言えば、と言えばやっぱりこの人。万能タイプ。
実は前回も、文章題に限ってはGeminiよりも正解数は多かったのです。
③：Claude
今回、第3の刺客として選ばれたのは成長目まぐるしいClaude。
残念ながら現時点で画像生成は出来ない模様ですが、今回のシリーズでは
問題ナシ（のハズ）。文章能力が強いと評判。
え？こぱい・・・さん？誰でしたっけ？
コメント