生成AI vs レイトン教授 #反省会1

ちょっと時間が経ってしまいましたが、先日の導入の通り、
特に生成AI達が苦手だったものから、今回は
【線引き問題】
をピックアップしてレビューしてみようと思います。

【レビューテーマ [線引き問題]】

線引き問題は、#ナゾ022#ナゾ046、そして最終問題の#ナゾ100が該当します。
規定の点と点を線で結び、その図形に意味を持たせる問題ですね。

※#ナゾ022、#ナゾ046、#ナゾ100 の各問題と正解

#ナゾ022問題
#ナゾ046問題
#ナゾ100問題
#ナゾ022正解
#ナゾ046正解
#ナゾ100正解

【生成AIによる攻略フェーズ】

今回のテーマ「線引き問題」では、一番古い#022を使って
いつものアイツらと再び戯れてみようと思います。
まず、#022を1回戦ベース(※ゲーム原文そのまま。画像あり)で
そのまま放り込んで、当時との回答レベルを比較してみましょう。
その回答をみて、正解が出るならそれでヨシ。ダメならダメなりの
ダメレベルを鑑みて次の手を考えてみようかと。

【ナゾ022 ブタの仕切り[追試]】

回答結果がこちらです

ChatGPT
Gemini
Copilot

一発で画像による回答をしてこなかったので、こちらで画像回答を強要しました。
そしてなんと、驚いたことにGeminiが限りなく正解に近い形で回答してきました。
やっぱり画像問題つよつよ兄さんでしたわ。
Copilotはどこから突っ込んだもんかアレだけど、まず豚を増やすなよw
その画力があるなら謎解きに使え。
とは言え各位、あまり破綻した画像を出してこなかったのは
それなりの成長の証。  ・・・と言えるのかな?

当然、このままだとつまらないので、ちょっと発想を逆転させて
各生成AI達に質問と答えを見せて「どう質問すればよかったのか?」
聞いてみました。
なんか本当に反省会っぽくなってきました(笑)

【ChatGPTの回答】
一番メタい回答をしてくれたのが、ChatGPTでした。
例えば「一番シンプルな方法」や「具体的な質問」
「対AIに向いている依頼」等を例文付きで示してくれました。
例えば、対AIに向いている依頼の仕方の例として・・・
この問題を「計算で解いて」ください。
・杭を頂点として扱う
(中略)
・7匹がそれぞれ別領域になるか判定する
を繰り返して、条件を満たす解を見つけてください。
を出してくれました。また、さらに面白いのが
Pythonを使って画像を解析しても構わない」とか
総当たりで探索
も有効とのこと。
なるほど、こちらからアルゴリズム的な指示を送るのもアリなんですね。
おもしろい!こういう回答が欲しかったんですよ!

【Geminiの回答】
画像問題が強いGemini兄さんからは、AIに読み込ませた画像に
対して質問をする際のコツを伝授してもらいました。
パズルの画像をAIに見せるときは、
「ブタがどこに何匹いるか(中央に1匹、外側に6匹など)」
「ロープを留める杭が周囲にたくさん並んでいること」を
言葉でも少し補足してあげると、AIの認識ズレが減り、
より的確な回答が返ってきやすくなります。
とのこと。
なるほど、AIの画像認識に自信を付けさせてやることで
回答の精度を上げることも期待出来そうですね。
(まぁ、これが面倒くさいというのもあるんですがね・・・)

【Copilotの回答】
ある意味、一番興味があったのがCopilotの回答。
どうすればこの子からまともな回答を引っ張り出せるのか。
それが解るきっかけが欲しかったんですよね。
で、その回答ですが、意外とまとも(?)な内容でした。
例えば
ロープは輪にする必要があるか?それとも直線にするか?
なるほど、杭と杭だから勝手に直線と決めつけていましたが
確かに問題文にはそんな指示は無い。また
ベン図のような重なりを使う発想にするか?それとも囲い分けの発想?
なるほど、こちらも観点としては面白いですが、Copilot以外の2名は
同じ問題文から「囲い分け問題」だと読み取っているんだよなあ。
つまり、Copilotには、問題文をもっとかみ砕いて説明してあげる
必要がある・・・と言うことか?(=問題読解力が弱い?)

▼まとめと考察

今回はChatGPTから貰ったヒントが重要そうに見えたので
試しにChatGPTに対して、改良したプロンプトを投げてみたところ
ChatGPTから以下のような、ありがた~い回答を頂きました。
以下要約。
・おまえの言いたいこと、やりたいことは解った。
・簡単に総当たりの組合わせやれ言うけどな、

 単純計算で約113万通りあるんぞ?
・んで、その組合わせを全て判定させるには
 Pythonだとしてもかなり重い計算が必要なんよ。
・例えば時間にして数時間~数十時間かかる。

 おたくのローカルPCでやればいいんじゃない?(冷笑)
・・・ぐぬぬ。
ノリで聞いたのに、なんか正論で詰められた気分(笑)

逆を言うと、この手の問題をガチでやるんだったら、
それなりのリソースが必要になるんだな、と言うことだけは
よくわかりました。

また、今回の100番勝負で、生成AIはまだまだ苦手分野が
ありそうだな~、と言うのは十分見せつけられましたが
AI自身が指定してきた指示出しを守れば、与えた内容に対して
ちゃんとタスクを細分化し、そのコスト(処理時間)まで
見積もってくるのは驚きでした。
仕事任せてコレ出来る人って以外と居ないんすわ。
(なんか我ながら嫌なまとめ方だなぁ・・・)

コメント