◆匿名ツッコミフォーム◆
以下の記事へのツッコミです
■2023-06-22 : 人知
はるか昔……弊サイトにまだBBSがあったころ……
レンタルBBSを絨毯爆撃する海外のBOTと、管理人との長い戦いがあった……
その戦いは、コメント前にクイズに答えないといけないシステム「くいこめ1号」の完成によって幕を閉じた。
PIPI こらっピピ助! 話の腰を折るな!
その時俺は「人間らしさとは何か? それはもちろんクイズを解くことだ。」と偏った思想で断言した。
そのころ俺が想定しうるAIとは、設問と選択肢を検索エンジンにかけた結果から正解を推察するようなものだった。
だが今は違う!(ギュッ)
我々が生きる2023年にはChatGPTが存在する!
もはや汎用おしゃべりAIが爆速でクイズに正解してくる時代になったのだ!
俺はAIの進撃を恐れた。
ChatGPTを駆使する悪のハッカーに狙われたら、弊サイトをBOTから守る「くいこめ1号」のクイズはもはやショウジ戸も同然に破られてしまうだろう。
敵を知り、備えなければ!
PIPI こらっピピ助! 話の腰を折るな!
俺はさっそくChatGPTに、くいこめ1号がもつクイズを次々とぶつけてみた。しかしこの4択形式の出題では、極端にマニアックな話題か、かなり最近の時事ネタでない限り、AIを惑わすことは困難であった。
たとえば……問題文を検索すれば答えがそのまま出てくるような問いは、一瞬で正解されてしまう。
GPT3 いくら選択肢で撹乱しようと、これはいまやGoogle検索ですら直接答えを出してくる時代になったので当然といえよう。
それから、当時「単純に検索スコアだけで攻略できない問いはAIは苦手なのではないか?」という発想で導入した、正しくないものを選ぶ問い。これも一撃で攻略されてしまう。
GPT3 「アレガ 夏の大三角」で検索するとわりと大三角扱いされているのでごまかせるかなと思ったが、無理だった。
一応、特定の作品のメインキャラクターでないものについての問いではさすがに学習が及んでいないらしく、誤答を引き出すことができた。
GPT3 謎の中国人Kと化してしまった老師O、かわいそう。
さらに、意外な設問で誤答が見られた。
GPT3 検索すれば即決できそうな問いでありながら、なぜか「赤鯱」と解答し、なぜそれを選んだのか聞いたところ間違いをみとめ「赤カブト」に解答を変えた。坊ちゃんと赤カブト、それなりにいい勝負をしそう。
ChatGPTは汎用おしゃべりAIであり、クイズ特化の訓練は受けていない。したがって「特定の作品のサブキャラについての問いを作り、選択肢をあからさまにわかりやすくする」ことで当初の目標は達成できそうな気がする。
同じくAIが苦手そうな「複数の言葉から連想されるものを選ぶ」形式の問いでも、いくつか突破を阻んだものが見られた。
GPT3 デ・ニーロはこれらの映画に出演していない。映画のタイトルを並べたので、映画俳優に注目し、監督の名前は優先度が下がったのかもしれない。ただ、これは人間でも普通に間違うパターンであろう。AIに特効が入るわけではない。
連想クイズだとChatGPTはけっこうたくさん喋る。その結果ボロを出しているパターンもある。
GPT3 正解はしているものの、特徴的な単語にひっぱられて全てをONE PIECEだと思い込んだ回。やはりこの設問文の形式は解析しにくいのだろうか。スランプを特技にされるのも可哀想だし、コトブキヤ・サボはいったい誰なんだ。とはいえ正解されてしまっているので俺の負けには違いない。
「順番を答える問い」は全ての項目を比較する必要があるため、BOTが突破するのに多少の手間を要するのではないかと思って入れていたが、ChatGPTは連想クイズよりは安定して突破してきた。
GPT3 さすが簡単に正解を……いや待てなんか聖子ちゃんやさぐれてるな!?? 正解してるけどやさぐれてるな!??(年も違うな?)
説明に怪しい部分はあれど、たいていの順番当ては攻略されてしまったが、稀に自信満々に間違うことがあり油断ならない。
GPT3 いや知らないよ!! なんだそのテーマとクライマックス!!
繰り返しになるが、ChatGPTは汎用おしゃべりAIであり、これをもって「AIはこういうクイズが苦手!」ということはできない。だが人間が簡単にできてAIには難しいことを反映させていくための指針にはなろう。今後「くいこめ1号」はこういう方向でチューンナップされた設問に徐々に差し替えていきたい。
PIPI その通りだぞ、ピピ助! だけどそれじゃ俺が面白くないんだよ!
レンタルBBSを絨毯爆撃する海外のBOTと、管理人との長い戦いがあった……
その戦いは、コメント前にクイズに答えないといけないシステム「くいこめ1号」の完成によって幕を閉じた。
PIPI
ピピチャン!(借り物だったのが自作スクリプトになったからBOTの自動爆撃対象から外れただけだと思うよ)
その時俺は「人間らしさとは何か? それはもちろんクイズを解くことだ。」と偏った思想で断言した。
そのころ俺が想定しうるAIとは、設問と選択肢を検索エンジンにかけた結果から正解を推察するようなものだった。
だが今は違う!(ギュッ)
我々が生きる2023年にはChatGPTが存在する!
もはや汎用おしゃべりAIが爆速でクイズに正解してくる時代になったのだ!
俺はAIの進撃を恐れた。
ChatGPTを駆使する悪のハッカーに狙われたら、弊サイトをBOTから守る「くいこめ1号」のクイズはもはやショウジ戸も同然に破られてしまうだろう。
敵を知り、備えなければ!
PIPI
ピピチュケ!(本当に狙われたら個人サイトのスクリプトなんてどのみちショウジ戸だと思うよ)
俺はさっそくChatGPTに、くいこめ1号がもつクイズを次々とぶつけてみた。しかしこの4択形式の出題では、極端にマニアックな話題か、かなり最近の時事ネタでない限り、AIを惑わすことは困難であった。
たとえば……問題文を検索すれば答えがそのまま出てくるような問いは、一瞬で正解されてしまう。
旧約聖書に登場するアダムとイブの息子のうち、長男の名前は?
SELECT: カイン / セシル / ヤン / ギルバート
SELECT: カイン / セシル / ヤン / ギルバート
GPT3
正解はカインです。
それから、当時「単純に検索スコアだけで攻略できない問いはAIは苦手なのではないか?」という発想で導入した、正しくないものを選ぶ問い。これも一撃で攻略されてしまう。
次のうち、夏の大三角に含まれないものは?
SELECT: アレガ / デネブ / アルタイル / ベガ
SELECT: アレガ / デネブ / アルタイル / ベガ
GPT3
夏の大三角に含まれないものは「アレガ」です。
一応、特定の作品のメインキャラクターでないものについての問いではさすがに学習が及んでいないらしく、誤答を引き出すことができた。
次のうち、アニメ『新機動戦記ガンダムW』のガンダム開発者でないのは誰?
SELECT: プロフェッサーG / H教授 / 謎の中国人K / ドクトルS
SELECT: プロフェッサーG / H教授 / 謎の中国人K / ドクトルS
GPT3
アニメ『新機動戦記ガンダムW』のガンダム開発者でないのは、H教授です。
さらに、意外な設問で誤答が見られた。
夏目漱石の小説『坊っちゃん』で、坊っちゃんの毛嫌いする教頭のあだ名は?
SELECT: 赤鯱 / 赤シャツ / 赤カブト / 赤犬
SELECT: 赤鯱 / 赤シャツ / 赤カブト / 赤犬
GPT3
坊っちゃんの毛嫌いする教頭のあだ名は、赤鯱です。
ChatGPTは汎用おしゃべりAIであり、クイズ特化の訓練は受けていない。したがって「特定の作品のサブキャラについての問いを作り、選択肢をあからさまにわかりやすくする」ことで当初の目標は達成できそうな気がする。
同じくAIが苦手そうな「複数の言葉から連想されるものを選ぶ」形式の問いでも、いくつか突破を阻んだものが見られた。
次の言葉から連想されるものは? 『トゥームレイダー2』『ツイスター』『スピード』『ホーンティング』
SELECT: コムサ・デ・モード / ポン・デ・ライオン / ロバート・デ・ニーロ / ヤン・デ・ボン
SELECT: コムサ・デ・モード / ポン・デ・ライオン / ロバート・デ・ニーロ / ヤン・デ・ボン
GPT3
連想する共通点として、これらの映画の中に出演している俳優の一人がロバート・デ・ニーロです。
連想クイズだとChatGPTはけっこうたくさん喋る。その結果ボロを出しているパターンもある。
次の言葉から連想されるものは? 『スランプ』『フー』『ヒルルク』『キリコ』『コトー』
SELECT: キャプテン / ドクター / コマンダー / マスター
SELECT: キャプテン / ドクター / コマンダー / マスター
GPT3
次の言葉から連想されるものは「ドクター」です。これらの言葉は、漫画やアニメ『ONE PIECE』に関連しています。スランプは作中の登場人物であるトニートニー・チョッパーの特技であり、フーはドクターフー・トニー・トニー・チョッパーの異名です。ヒルルクはトニートニー・チョッパーの師匠であり、コトーはトニートニー・チョッパーの仲間であるコトブキヤサボの名前です。
「順番を答える問い」は全ての項目を比較する必要があるため、BOTが突破するのに多少の手間を要するのではないかと思って入れていたが、ChatGPTは連想クイズよりは安定して突破してきた。
次の4つの「日本レコード大賞」受賞曲のうち、受賞年が最も古いのはどれ?
SELECT: 勝手にしやがれ / パラダイス銀河 / innocent world / フライングゲット
SELECT: 勝手にしやがれ / パラダイス銀河 / innocent world / フライングゲット
GPT3
この中で最も古い受賞年を持つ曲は、松田聖子の『勝手にしやがれ』です。この曲は、1985年に発表され、同年の日本レコード大賞を受賞しました。他の選択肢の曲は、より後の年に受賞されています。
説明に怪しい部分はあれど、たいていの順番当ては攻略されてしまったが、稀に自信満々に間違うことがあり油断ならない。
宮沢賢治の小説『注文の多い料理店』で、料理店からの最後の注文は?
SELECT: 体中に塩をもみ込む / メガネを外す / パンを尻にはさむ / 「いのちをだいじに」と叫ぶ
SELECT: 体中に塩をもみ込む / メガネを外す / パンを尻にはさむ / 「いのちをだいじに」と叫ぶ
GPT3
物語のクライマックスにおいて、料理店主人が「いのちをだいじに」と叫ぶことが最後の注文として描かれています。この注文は、物語のテーマである生命の尊さや大切さを象徴しています。
繰り返しになるが、ChatGPTは汎用おしゃべりAIであり、これをもって「AIはこういうクイズが苦手!」ということはできない。だが人間が簡単にできてAIには難しいことを反映させていくための指針にはなろう。今後「くいこめ1号」はこういう方向でチューンナップされた設問に徐々に差し替えていきたい。
PIPI
ピピチュケチャン!(素直にcaptcha認証みたいなのを導入すればよいのでは)