AIに忘年会クイズを80問作らせた　答えの誤りは0問、危ないのは解説

この試しでは、忘年会のクイズをAIに頼んでも、正解そのものが事実と違う問いはありませんでした。Claudeの3つのモデルに80問作らせ、1問ずつ出典で確かめた結果です。

ただし、そのまま読み上げてよいわけではありません。7問に指摘が残り、4問は答えではなく、添えた解説のほうに誤りや古い数字がありました。

裏取りを通った10問は、そのまま映せる司会の画面で使えます。

先に1つ、試してみてください。次の3つは、AIが問題に添えた解説です。1つだけ誤りがあります。

• 利根川は、流域面積が日本一
• 北海道は、本州の約8割の面積がある
• 光は、1秒間に地球を約7周半する

80問を全部、出典で確かめた

幹事がいちばん避けたいのは、マイクの前で堂々と間違えることでしょう。「それ、違いますよ」と客席から声がかかる、あの場面です。

そこで、同じ依頼を4通りに投げました。Claudeのモデルのうち、いちばん軽いHaiku 5.5、中くらいのSonnet 5.5、いちばん高性能なOpus 5.5は検索なしで、もう1つはSonnet 5.5に検索を許します。頼んだのは4択の20問で、前半12問が一般常識、後半8問が2026年に日本で話題になったことです。正解だけでなく、ほかの選択肢と解説まで、公式の発表や報道で確かめました。

起きていない出来事を作った問いはありません。検索なしのSonnetは、20問すべて問題なしでした。

正直なところ、2026年の話題では外すと思っていました。ところが検索なしのOpusは、2月の冬季五輪、3月のWBC、4月の自転車の青切符、5月の嵐の最終公演まで、8問すべて問題なしです。

ただ、最新の話題に強いという意味ではありません。モデルの設定に書かれた知識の時点は2026年6月で、秋の話題はほとんど入っていません。問題もAIが自分で選ぶので、知っていることが並びやすい面はあります。

間違いは、答えに添えた一言に出た

さきほどの答えは、真ん中の「本州の約8割」です。北海道の面積は本州の約37%で、Haikuの解説でした。

7問のうち4問は解説で、残りの3問は問題文です。解説のずれ方はさまざまで、比率の勘違い、開催地の数え方、古い人口、麹と麹菌の取り違えがありました。司会が「へえ」を狙って読み上げる一言なので、ここを見落とすと恥をかきます。

一般常識も油断できません。7問のうち4問は、前半の問いでした。

問題文の3問には、時間のずれと言い切りが出ています。Haikuは10月に閉幕したアジア競技大会を「開かれる」と書き、検索ありのSonnetは五輪の途中の数字をそのまま使いました。

Opusの1問も、考えさせられました。「いまの教科書で多く採用されている鎌倉幕府の成立年」の答えは1185年です。一方で帝国書院は、成立を単独の年に求めず、段階を踏んで完成したととらえると説明します。「いい国つくろう」は変わった、という話は盛り上がりますが、断言すると歴史にくわしい人に止められるかもしれません。

問題の顔ぶれは、モデルで大きく違った

指摘の数は、Haikuが4問、Opusが1問、Sonnetは検索なしで0問、検索ありで2問です。この問数で、どのモデルが正確かまでは言い切れません。はっきり違ったのは、何を出題するかでした。

Opus以外は、信濃川、北海道、徳川家康が3つともそろいました。正しいのですが、会社員30人のほとんどが知っていそうな問題です。

Opusの20問は、17問がほかと重なりません。ナポリタンの発祥の地、カニカマを開発した会社の県、海のない県の数。解説まで読みたくなる問いが並びます。

2026年の話題も同じです。

Haikuの8問には「2026年は令和何年?」「2026年1月1日は何曜日?」が混ざりました。誤りではないものの、話題と呼ぶには苦しい問いです。検索ありのSonnetは、検索語に「ミラノ・コルティナ五輪」を入れて1回だけ検索し、8問のうち5問が冬季五輪になりました。検索を許せば話題が広がる、とは限らないようです。

高いモデルと安いモデルを10問で比べたときは、点がOpusは10点、Haikuは8点でした。モデルの差は、点だけでなく題材の選び方にも出るようです。

作り終えたときの返事も印象に残りました。Haikuだけが「2026年の問題は事実確認をしていません」と書き添え、確かめる番号を挙げてきました。指摘の2問は、その番号の中にあります。AIの断り書きは、消さずに読むと役に立ちます。

80問の正解の位置を数えると、1番目が21問、2番目と3番目が24問ずつ、4番目は11問でした。偶然なら20問ずつのはずですが、80問では偶然の範囲かもしれません。それでも参加者に読まれないよう、出す前に選択肢を並べ替えておくと安心です。

司会の画面は、そのまま使える

裏取りを通ったOpusの10問は、プロジェクターに映して使えます。問題、答え、解説の順に、ボタンか矢印キーで進みます。正解の位置は散らしてあります。

忘年会クイズの司会の画面を開く

自分の問題を出すときは、AIに次のように頼み、返ってきた文を画面の「自分の問題を入れる」に貼り付けます。Haikuで試すと、10問とも読み込めました。選択肢の順は、貼り付けるときに混ぜられます。ほかのAIでは試していませんが、同じ文で頼めるはずです。

会社の忘年会の余興で使う4択クイズを10問作ってください。
参加者は20代から60代の会社員30人です。
1問を1行にして、「問題|選択肢1|選択肢2|選択肢3|選択肢4|正解の番号|解説」の形で書いてください。
見出しや説明は付けないでください。

読み上げる前に、答えに加えて解説も確かめてください。とくに数字と「日本一」「初めて」「最多」は、官公庁の統計や大手の報道を開いて1つずつ当たります。今年の話題は、終わった出来事を「これから」と書いていないか、大会の途中の数字になっていないかも見ます。

解説まで確かめる時間がなければ、答えだけ確かめて、解説は読まない手もあります。80問で事実と違う正解は見つからず、手直しが要ったのは添えた一言や問題文のほうでした。

測り方