生成AI vs レイトン教授 #反省会会場

とりあえず100回達成! ~最終結果発表~

長かった戦いも、なんとか100回達成することが出来ました。
では早速ですが、100回完走した最終結果発表と参ります。

問題数:100(画像問題:61/文章題:39)

 ChatGPT   Gemini   Copilot 
 正解数 
(画像/文章)
53
(23/30
60
31/29)
46
(18/28)

トップは100問中60問正解のGeminiさんでした。
以下、2位がChatGPT、そして最下位がCopilotとなりました。
残念ながらCopilotだけ正解率5割に達することが
出来ませんでした。

んで、ここまでやってきた私の正直な感想ですが
「こんなものか・・・?」です。
巷では「雑務処理は全てAIに任せられる」とか
「XX大学合格レベル」とか、もてはやされているようですが
この結果を見るに、ちょっと疑問符が付きますね。

本当にこんなものなのか??

ここで改めて結果を見ると、最下位のCopilotでも
文章題に関しては、正解率は7割以上出しているんですよね。
ですが、ゲーム(と言うかハード?)の都合上、画像問題に
特化しており、その画像問題に唯一(ギリ)負け越さなかった
Geminiが結果的にトップを取れた、という結果内容。

逆を言うと、一番成績の良かったGeminiですら
画像問題に関しては半分しか正解出来なかった、
と言うことになります

とはいえ、開始から半年以上経過して生成AI達も
多少なりとも進化はしています。それは実感済み。
と、言う事で、ここからは生成AI達が
・特にダメだった問題
・もしかすると今なら正解出来そうな問題
などをピックアップして、どう攻略すべきだったか?を
これから何回かにテーマで分けて振り返っていきたいな
と考えております。

コメント