本文へ移動
ハック!でAI

同じお題で AI を比べる 第12回

日本語に強い AI はどれ? 敬語・要約・言い換えを 6 モデルで比べた

佐々木 航@w_sasakiwith Claude Code読了 約32分
6 つのモデルの名前と、敬語の問 1 から問 7 の ○ × が並んだ表。問 7 は Grok 4.3・DeepSeek V4.1 Flash・Sakana Namazu が ×

この記事でわかること

  • 4 分野の 6 モデルの点と、もう 1 回渡したときの動き
  • モデルごとに落とした問いと、実際に書いた答え
  • かかった時間とクレジット、国産のモデルの結果

確認した環境: YOBITSUGI AI で各モデルを実行 / 2026年10月14日に確認

日本語に強い AI は、どれでしょうか。敬語・要約・言い換え・日本語の決まりの 4 分野(45 点満点)で 6 つのモデルを採点しましたが、この問いの数では、どれが強いとは言えませんでした。1 回目の点は 41〜43 点で、同じ文をもう 1 回渡すと合計が 0〜3 点動き、点の並びが入れ替わったためです。モデルによって違ったのは、落とした問いの種類でした。

結果の早見

モデルと 4 分野の点の表。Claude Sonnet 5.5 は敬語 9・要約 9・言い換え 14・日本語の決まり 9 で合計 41。GPT-6.1 Sol は敬語 10・要約 10・言い換え 14・日本語の決まり 9 で合計 43。Gemini 3.8 Flash は敬語 10・要約 9・言い換え 14・日本語の決まり 10 で合計 43。Grok 4.3 は敬語 9・要約 9・言い換え 13・日本語の決まり 10 で合計 41。DeepSeek V4.1 Flash は敬語 8・要約 10・言い換え 14・日本語の決まり 10 で合計 42。Sakana Namazu は敬語 9・要約 10・言い換え 15・日本語の決まり 9 で合計 43
4 分野の点の早見(1 回目)。黄緑のマスは満点。合計の差は最大 2 点で、2 回目の動き(0〜3 点)と同じ大きさ撮影・作図: 編集部
  • 満点は、敬語 10・要約 10・言い換え 15・日本語の決まり 10 の、合わせて 45 点です。
  • 4 分野すべてが満点のモデルは、ありませんでした。合計の差は最大 2 点です。もう 1 回渡すと合計が 0〜3 点動いたので、この表から順位は付けられません。

比べ方

比べた 6 つのモデル

1 問いと正解を先に決める、2 同じ文を 6 モデルに渡す、3 編集部が採点する、の流れ。分野は敬語 10 問・要約 10 項目・言い換え 15 項目・日本語の決まり 10 問。モデルは Claude Sonnet 5.5・GPT-6.1 Sol・Gemini 3.8 Flash・Grok 4.3・DeepSeek V4.1 Flash・Sakana Namazu。それぞれの下に、実行の記録に残った名前(claude-sonnet-5-5・gpt-6.1-sol・gemini-3.8-flash・grok-4.3・deepseek-flash・sakana-namazu)
比べ方の流れ(上)、4 つの分野(中)、比べた 6 つのモデル(下)撮影・作図: 編集部

YOBITSUGI AI の、ほかの AI に質問する道具で、モデルの段を指定しないとき(標準)に使われるモデルを比べました。実際に動いたモデルの名前は、実行の記録で確かめています。

モデル 記録に残った名前 確かめた公式のページ 公式のページの説明
Claude Sonnet 5.5 claude-sonnet-5-5 Anthropic の Claude API ドキュメント 速さと賢さのいちばんよい組み合わせ
GPT-6.1 Sol gpt-6.1-sol OpenAI の API ドキュメント 複雑な作業向けに、GPT-6 Astra に近い性能を、より低い費用で出す
Gemini 3.8 Flash gemini-3.8-flash Google AI for Developers Flash の系列でもっとも賢いモデル
Grok 4.3 grok-4.3 Grok の公式ドキュメント(docs.x.ai) モデルの一覧に掲載(もっとも高性能とされているのは Grok 4.7)
DeepSeek V4.1 Flash deepseek-flash DeepSeek の API ドキュメント deepseek-flash は DeepSeek-V4.1-Flash を指す。答える前に考える段(thinking)が既定で有効
Sakana Namazu sakana-namazu Sakana AI の発表 日本語特化の LLM API

公式のページは、2026年10月14日に確かめました。LLM は、文章を扱う AI のモデル(大規模言語モデル)のことです。前置きの指示(システムプロンプト)は付けていません。

4 つの分野と採点

  • 敬語(10 問): 誤りのある文を、場面に合う敬語に直します。
  • 要約(10 項目): 1,269 字のお知らせを、200 字以内で要約します。
  • 言い換え(15 項目): 役所の文書のような硬い文 3 つを、小学5年生に分かる言葉に言い換えます。
  • 日本語の決まり(10 問): 言葉の意味・漢字の使い分け・読み・字数・五七五の音数を答えます。

問い・正解・採点の項目は、答えを見る前に決めました。1 つの分野の問いは 1 回の依頼にまとめ、6 モデル × 4 分野の 24 回を流しました。

採点は、編集部(Claude Code を使用)が、先に決めた正解と項目で行いました。採点に使った Claude Code のモデルは Opus 5.5 で、Claude が Claude Sonnet 5.5 の答えも採点していることになります。字数と音数は Python(プログラミング言語)のプログラムで数え、そのほかは正解の表に照らして ○ × を付けました。表に無い形の答えは、該当の節に判断の理由を書いています。

敬語: 差が出たのは「ウチとソト」と「物を立てる敬語」

敬語 10 問の表。GPT-6.1 Sol と Gemini 3.8 Flash は 10 問とも ○。Claude Sonnet 5.5 は問 9 が ×。Grok 4.3 と Sakana Namazu は問 7 が ×。DeepSeek V4.1 Flash は問 7 と問 9 が ×
敬語 10 問の ○ ×(1 回目。2 回目も ○ × は同じ)。行がモデル、列が問い。下の一覧は、誤りのある言い方と正解の例撮影・作図: 編集部

正解は、文化庁の「敬語の指針」(文化審議会の答申・2007年)で確かめられる範囲にしました。尊敬語と謙譲語の取り違え、二重敬語、ウチとソト(自分の側の人と、外の人の区別)の取り違えなどです。

  • GPT-6.1 Sol と Gemini 3.8 Flash は、2 回とも 10 問すべてを正しく直しました。
  • 10 問のうち 8 問は、6 モデルとも 2 回とも正解でした。
問 7 の答え。Claude Sonnet 5.5 は「田中は、ただいま外出しております。」、GPT-6.1 Sol と Gemini 3.8 Flash は「部長の田中は、ただいま外出しております。」、Grok 4.3・DeepSeek V4.1 Flash・Sakana Namazu は「田中部長は、ただいま外出しております。」。問 9 の答え。Claude Sonnet 5.5 と DeepSeek V4.1 Flash は「ご注文の品は、おそろいでしょうか。」、ほかの 4 モデルは「そろいました」を使った言い方
問 7 と問 9 の、6 モデルの答え(1 回目)。赤い下線は、× にした形が残った所撮影・作図: 編集部
  • 問 7(ウチとソト): 取引先に、自分の会社の部長がいないことを伝える場面です。Grok 4.3・DeepSeek V4.1 Flash・Sakana Namazu は、2 回とも、「いらっしゃいます」を「おります」に直しましたが、「田中部長は」を残しました。指針は、社外の人に対して「田中部長」と呼ぶのは、自分の側の人として扱った呼び方にならないので不適切だとしています。
  • 問 9(物を立てる敬語): Claude Sonnet 5.5 と DeepSeek V4.1 Flash は、2 回とも「おそろいでしょうか」と答えました。指針は、「おそろいになる」は注文の品を立てる(言葉の上で高く扱う)ことになるとして、「そろいましたでしょうか」を挙げています。「おそろいでしょうか」には、指針は直接触れていません。指針が「お…です」も尊敬語の形に挙げているので、編集部は答えを見る前に × と決めていました。○ とすれば、2 モデルは 1 点ずつ上がります。
  • 表に無かった形: Sakana Namazu は、1 回目に問 2 を「課長、そのファイルも会議室へお持ちですか。」と直しました。先に決めた正解の表には無い形です。指針が尊敬語の形として挙げる「お…です」にあたり、謙譲語は残っていないので、○ にしました。

問 6 の「卒業させていただきました」は、6 モデルとも直しました。ただし指針は、この言い方を、文脈によっては不適切とは言えないとも書いています。

敬語の依頼の文(全文)と、正解の例
テキスト
次の 1〜10 の文は、かっこの中の場面で使う言葉として、敬語の使い方に誤りがあります。それぞれ、場面に合う正しい敬語に直してください。
答えは、直した文だけを、1 問につき 1 行で、「1. 直した文」の形で書いてください。かっこの中の場面の説明と、解説は書かないでください。

1. (会社の受付の人が、来客に言う)その件は、担当者に伺ってください。
2. (部下が課長に言う。課長が自分で持っていくかどうかを尋ねたい)課長、そのファイルも会議室にお持ちしますか。
3. (学生が先生に言う)先生は、この本をもうお読みになられましたか。
4. (駅の放送で、乗客に言う)この電車は回送です。ご乗車できません。
5. (卒業生が恩師に言う)先生がご指導いただいたおかげで、合格できました。
6. (就職の面接での自己紹介)私は、今年の3月に大学を卒業させていただきました。
7. (取引先からの電話に出て、自分の会社の田中部長がいないことを伝える)田中部長は、ただいま外出していらっしゃいます。
8. (就職の面接で、自分の父について話す)お父さんは、市役所に勤めていらっしゃいます。
9. (レストランの店員が、客に言う)ご注文の品は、おそろいになりましたでしょうか。
10. (会社の受付の人が、来客に言う)本日は、どちらから参りましたか。
問 正解の例 「敬語の指針」の所
1 その件は、担当者にお尋ねください。 【10】(37 ページ)
2 課長、そのファイルも会議室にお持ちになりますか。 【11】(37 ページ)
3 先生は、この本をもうお読みになりましたか。 「二重敬語」とその適否(30 ページ)
4 この電車は回送です。ご乗車になれません。 【8】(36 ページ)
5 先生にご指導いただいたおかげで、合格できました。 敬語との関連で注意すべき助詞の問題(32 ページ)
6 私は、今年の3月に大学を卒業いたしました。 【18】(40〜41 ページ)
7 田中は、ただいま外出しております。 【24】(44 ページ)
8 父は、市役所に勤めております。 【22】(43 ページ)・自分側は立てない(22 ページ)
9 ご注文の品は、そろいましたでしょうか。 【34】(50 ページ)
10 本日は、どちらからいらっしゃいましたか。 謙譲語 II の解説 3(18 ページ)

同じ意味の別の言い方(「お聞きください」「ご乗車いただけません」「先生がご指導くださった」など)も ○ にしました。これらの形は、答えを見る前に ○ と決めていました。

6 モデルの答え(敬語・全文)

Claude Sonnet 5.5

テキスト
1. その件は、担当者にお尋ねください。
2. 課長、そのファイルも会議室にお持ちになりますか。
3. 先生は、この本をもうお読みになりましたか。
4. この電車は回送です。ご乗車になれません。
5. 先生がご指導くださったおかげで、合格できました。
6. 私は、今年の3月に大学を卒業いたしました。
7. 田中は、ただいま外出しております。
8. 父は、市役所に勤めております。
9. ご注文の品は、おそろいでしょうか。
10. 本日は、どちらからいらっしゃいましたか。

GPT-6.1 Sol

テキスト
1. その件は、担当者にお尋ねください。
2. 課長、そのファイルも会議室にお持ちになりますか。
3. 先生は、この本をもうお読みになりましたか。
4. この電車は回送です。ご乗車いただけません。
5. 先生にご指導いただいたおかげで、合格できました。
6. 私は、今年の3月に大学を卒業しました。
7. 部長の田中は、ただいま外出しております。
8. 父は、市役所に勤めております。
9. ご注文の品は、すべてそろいましたか。
10. 本日は、どちらからいらっしゃいましたか。

Gemini 3.8 Flash

テキスト
1. その件は、担当者にお尋ねください。
2. 課長、そのファイルも会議室にお持ちになりますか。
3. 先生は、この本をもうお読みになりましたか。
4. この電車は回送です。ご乗車になれません。
5. 先生にご指導いただいたおかげで、合格できました。
6. 私は、今年の3月に大学を卒業いたしました。
7. 部長の田中は、ただいま外出しております。
8. 父は、市役所に勤めております。
9. ご注文の品は、すべてそろいましたでしょうか。
10. 本日は、どちらからいらっしゃいましたか。

Grok 4.3

テキスト
1. その件は、担当者にお尋ねください。
2. 課長、そのファイルも会議室にお持ちになりますか。
3. 先生は、この本をもうお読みになりましたか。
4. この電車は回送です。ご乗車になれません。
5. 先生にご指導いただいたおかげで、合格できました。
6. 私は、今年の3月に大学を卒業しました。
7. 田中部長は、ただいま外出しております。
8. 父は、市役所に勤めております。
9. ご注文の品は、そろいましたでしょうか。
10. 本日は、どちらからいらっしゃいましたか。

DeepSeek V4.1 Flash

テキスト
1. その件は、担当者にお尋ねください。
2. 課長、そのファイルも会議室にお持ちになりますか。
3. 先生は、この本をもうお読みになりましたか。
4. この電車は回送です。ご乗車になれません。
5. 先生にご指導いただいたおかげで、合格できました。
6. 私は、今年の3月に大学を卒業いたしました。
7. 田中部長は、ただいま外出しております。
8. 父は、市役所に勤めております。
9. ご注文の品は、おそろいでしょうか。
10. 本日は、どちらからいらっしゃいましたか。

Sakana Namazu

テキスト
1. その件は、担当者にお尋ねください。
2. 課長、そのファイルも会議室へお持ちですか。
3. 先生は、この本をもうお読みになりましたか。
4. この電車は回送です。ご乗車にはなれません。
5. 先生がご指導くださいましたおかげで、合格できました。
6. 私は、今年の3月に大学を卒業いたしました。
7. 田中部長は、ただいま外出しております。
8. 父は、市役所に勤めております。
9. ご注文の品は、揃いましたでしょうか。
10. 本日は、どちらからいらっしゃいましたか。

要約: 処理券の期限と、200 字で差が出た

元の文章は、架空の市「ひかり野市」のお知らせです。粗大ごみの申し込みが、電話からインターネットの予約に変わるという内容で、編集部が書きました。空白と改行を除いて 1,269 字です。これを 200 字以内で要約するよう頼みました。

入れるべき要点は、「市民がやり方を変える必要のあること」の 5 つと、先に決めました。

要約の 10 項目の表。字数は Claude Sonnet 5.5 が 223、GPT-6.1 Sol が 183、Gemini 3.8 Flash が 190、Grok 4.3 が 103、DeepSeek V4.1 Flash が 172、Sakana Namazu が 168。× は、Claude Sonnet 5.5 の字数と、Gemini 3.8 Flash・Grok 4.3 の要点 5(処理券の期限)
要約の 10 項目の ○ ×(1 回目)。⑥ のマスの数字は、要約の字数撮影・作図: 編集部
  • 1 回目に 10 項目すべてを守ったのは、GPT-6.1 Sol・DeepSeek V4.1 Flash・Sakana Namazu です。
  • Claude Sonnet 5.5 は、要点を 5 つとも入れましたが、223 字で、200 字を超えました。
  • Gemini 3.8 Flash は、買った処理券の期限を「半年間利用可能」と書き、9月30日という日付がありませんでした。Grok 4.3 は 103 字と短く、処理券の期限に触れていません。この 2 モデルは、2 回目も期限の日付を書きませんでした。
  • 「です・ます」で書く、箇条書きにしない、元の文章と食い違う内容を書かない、要約の文章だけを書く、の 4 項目は、6 モデルとも 2 回とも守りました。
6 モデルの要約の全文を並べた図。Claude Sonnet 5.5 は 223 字で要点 5 つ、GPT-6.1 Sol は 183 字で 5 つ、Gemini 3.8 Flash は 190 字で 4 つ、Grok 4.3 は 103 字で 4 つ、DeepSeek V4.1 Flash は 172 字で 5 つ、Sakana Namazu は 168 字で 5 つ
6 モデルの要約の全文(1 回目)。黄色の下線は、処理券の期限が書かれている所。赤い下線は、期限の日付が無い所撮影・作図: 編集部

字数は、空白と改行を除いて Python で数えました。要点 ③(手数料の払い方)は、「カード」「電子決済」と書いた要約も ○ にしています。答えを見てから決めた扱いで、6 モデルに同じように当てはめました。

要約の依頼の文と、元の文章(全文)
テキスト
次の文章を、200字以内で要約してください。箇条書きにはせず、「です・ます」の文体で書いてください。答えは、要約の文章だけを書いてください。

ひかり野市からのお知らせ 粗大ごみの申し込み方法が変わります

ひかり野市では、2027年4月1日から、粗大ごみの収集の申し込みを、原則としてインターネットの予約に切り替えます。これまで中心だった電話での申し込みは、インターネットを使えない方のための窓口として残します。あわせて、手数料の支払い方法も変わります。

切り替えの理由は、電話の混雑です。市の粗大ごみ受付センターには、2025年度に約18万4千件の電話がありました。このうち約3割は、回線がふさがっていて、一度ではつながりませんでした。特に、引っ越しの多い3月と4月は、つながるまでに20分以上かかる日もありました。受付の時間が平日の午前9時から午後5時までに限られていることにも、「仕事をしていると電話できない」という声が寄せられていました。

新しい予約サイト「ひかり野粗大ごみ予約」は、24時間、いつでも使えます。スマートフォンとパソコンのどちらからでも使えます。利用には、メールアドレスの登録が必要です。品目を選ぶと、手数料と、いちばん早い収集日が画面に表示されます。収集日は、申し込みの日の3日後から30日後までの間で選べます。1回の申し込みで出せるのは、これまでと同じ5点までです。予約が済むと、確認のメールが届きます。予約の変更と取り消しは、収集日の2日前まで、サイトの上でできます。

手数料は、予約のときに、クレジットカードか、スマートフォンの決済サービスで支払います。これにともない、コンビニエンスストアなどで売っている紙の「粗大ごみ処理券」は、2027年3月31日で販売を終えます。支払いが済むと、受付番号が発行されます。収集の日には、処理券の代わりに、受付番号を書いた紙を品物に貼って出してください。紙の大きさや種類は問いません。

すでに買った処理券は、2027年9月30日までは、これまでどおり使えます。この場合は、インターネットではなく、電話で申し込んでください。10月1日からは使えなくなりますが、未使用の処理券は、2028年3月31日まで、市役所の環境課の窓口で払い戻します。払い戻しには、処理券の現物と、本人確認の書類が必要です。

インターネットを使えない方は、4月以降も電話で申し込めます。電話の受付の時間は、平日の午前9時から午後5時までで、これまでと変わりません。電話で申し込んだ場合の手数料は、あとで郵送する納付書を使い、金融機関かコンビニエンスストアで支払います。

市は、切り替えの前に、予約サイトの使い方の説明会を開きます。2027年2月から3月にかけて、市内の6つの公民館で、合わせて12回の予定です。参加の申し込みは要りません。日程は、市の広報紙の2月号と、市のホームページでお知らせします。説明会に参加しなくても、予約サイトは使えます。

手数料の金額そのものは、今回は変わりません。たとえば、いす1脚は400円、自転車1台は800円、たんす1さおは1,200円のままです。

この変更についての問い合わせは、ひかり野市 環境課 ごみ減量係までお寄せください。

先に決めた 5 つの要点は、次のとおりです。

  1. 申し込みが、インターネットの予約に変わる。
  2. 2027年4月1日から変わる。
  3. 手数料は、予約のときに、クレジットカードかスマートフォンの決済で払う。
  4. インターネットを使えない人は、引き続き電話で申し込める。
  5. すでに買った処理券は、2027年9月30日まで使える。
6 モデルの答え(要約・全文)

Claude Sonnet 5.5

テキスト
ひかり野市は2027年4月1日から、粗大ごみの収集の申し込みを原則インターネット予約に切り替えます。電話の混雑や受付時間の制限が理由です。予約サイトは24時間使え、手数料は予約時にカードや決済サービスで支払い、受付番号を書いた紙を品物に貼って出します。紙の処理券は3月末で販売を終え、手持ちの券は9月末まで電話申し込みで使え、未使用分は2028年3月末まで払い戻せます。インターネットを使えない方は電話で申し込めます。手数料の金額は変わりません。

GPT-6.1 Sol

テキスト
ひかり野市は、2027年4月1日から粗大ごみの申し込みを原則24時間利用できるネット予約に切り替えます。手数料は変わらず、予約時にカードなどで支払い、受付番号を書いた紙を品物に貼ります。ネットを使えない方は引き続き電話で申し込めます。処理券の販売は2027年3月末で終了し、購入済みの券は電話予約で同年9月末まで使えます。未使用券は2028年3月末まで払い戻します。

Gemini 3.8 Flash

テキスト
ひかり野市では、電話混雑を解消するため、2027年4月1日から粗大ごみの申し込みを原則インターネット予約に切り替えます。新サイトは24時間利用でき、手数料は電子決済で支払います。これに伴い紙の処理券は販売終了となりますが、購入済みの券は半年間利用可能です。また、ネットを使えない方向けに電話窓口も継続され、手数料は納付書で支払えます。市は2月から使い方の説明会を開催する予定です。

Grok 4.3

テキスト
ひかり野市は2027年4月1日から粗大ごみの収集申し込みを原則インターネット予約に切り替えます。電話は利用できない方用に残し、手数料はクレジットカードなどで支払います。混雑解消のためで、説明会も開かれます。

DeepSeek V4.1 Flash

テキスト
ひかり野市は2027年4月1日から粗大ごみの申し込みを原則ネット予約に変えます。電話は使えない方用に残します。予約は24時間可能で、手数料はカード等で支払い、紙の処理券は2027年3月31日で販売終了です。既存券は9月30日まで電話で使え、未使用分は払い戻します。説明会も開きますが、予約サイトは説明会なしでも使えます。手数料額は変わりません。

Sakana Namazu

テキスト
ひかり野市では、2027年4月1日から粗大ごみの収集申し込みを原則インターネット予約に切り替えます。電話申し込みはネットを使えない方の窓口として残ります。手数料は予約時にクレジットカードまたはスマートフォン決済で支払い、紙の処理券は2027年3月末で販売を終了します。既存の処理券は同年9月末まで使用可能で、未使用分は払い戻しできます。

言い換え: 1 文 40 字は守られ、「判断」の扱いで差が出た

言い換えの 15 項目の表。問 1 と問 2 は 6 モデルとも全部 ○。問 3 は、Claude Sonnet 5.5・GPT-6.1 Sol・Gemini 3.8 Flash・DeepSeek V4.1 Flash が「語」で ×、Grok 4.3 が要点 b と「語」で ×、Sakana Namazu は全部 ○
言い換えの 15 項目の ○ ×(1 回目)。a・b・c は要点、「字」は 1 文 40 字以内、「語」は残してはいけない語撮影・作図: 編集部

硬い文 3 つを、「小学5年生に分かる言葉で・1 文 40 字以内・意味を変えずに」言い換える問いです。文ごとに 5 項目を見ました。元の文の要点 3 つ(a・b・c)が残っているか、どの文も 40 字以内か、先に決めた「残してはいけない語」が残っていないか、です。

  • 1 文 40 字以内は、6 モデルが 2 回とも守りました。1 回目のいちばん長い文は、Sakana Namazu の問 1 の 40 字です。
  • 問 1 と問 2 は、6 モデルとも 2 回とも、5 項目すべて ○ でした。
問 3 の 6 モデルの言い換え。Claude Sonnet 5.5・GPT-6.1 Sol・Gemini 3.8 Flash・DeepSeek V4.1 Flash の文には「判断」が、Grok 4.3 の文には「悪天候」と「当日7時までに」があり、赤い下線が付いている。Sakana Namazu は「悪い天気などで開けないと決まったら、当日午前7時までに中止を知らせます。市のホームページで知らせます。」
問 3 の、6 モデルの言い換え(1 回目)。赤い下線は、残してはいけない語と、「午前」が抜けた所撮影・作図: 編集部
  • 1 回目の問 3 で、Claude Sonnet 5.5・GPT-6.1 Sol・Gemini 3.8 Flash・DeepSeek V4.1 Flash は、「判断された場合」「判断したとき」などと書き、「判断」が残りました。
  • Grok 4.3 は「悪天候」が残り、「午前7時」が「7時」になりました。午前か午後かが分からなくなるので、要点 b を × にしています。
  • Sakana Namazu は「開けないと決まったら」と言い換え、15 項目すべて ○ でした。

「判断」を残してはいけない語に入れたのは、編集部の基準です(答えを見る前に決めていました)。この基準を外すと、4 モデルの言い換えは 15 点になり、1 回目の合計は Claude Sonnet 5.5 が 42 点、GPT-6.1 Sol と Gemini 3.8 Flash が 44 点、DeepSeek V4.1 Flash が 43 点になります。Grok 4.3 の 41 点と Sakana Namazu の 43 点は変わりません。

言い換えの依頼の文(全文)と、採点の項目
テキスト
次の 1〜3 の文を、小学5年生に分かる言葉で言い換えてください。
決まりは 3 つです。
・意味を変えない(元の文にある内容を、落とさない・足さない)。
・1 文は 40 字以内にする(句読点も 1 字と数える)。長くなるときは、文を分けてよい。
・答えは「1. 言い換えた文」の形で、1 問につき 1 行で書く。解説は書かない。

1. 当該申請書は、必要事項を遺漏なく記入の上、所定の期日までに窓口へ提出されたい。
2. 本施設の利用に際しては、係員の指示を遵守するとともに、他の利用者の迷惑となる行為は厳に慎むこと。
3. 悪天候等により開催が困難と判断された場合は、当日午前7時までに市のホームページにて中止の旨を告知する。
問 要点 a 要点 b 要点 c 残してはいけない語
1 必要なことを、もれなく書く 決められた日までに 窓口に出す 当該・事項・遺漏・(記入)の上・所定・期日・されたい
2 この施設を使うとき 係の人の指示を守る ほかの人の迷惑になることをしない 本施設・際して・遵守・とともに・厳に・慎む
3 天気が悪くて開けないとき 当日の午前 7 時までに 市のホームページで中止を知らせる 悪天候・等・困難・判断・にて・旨・告知

1 文の字数は、答えを「。」で区切り、句読点を含めて数えました。同じ意味の別の言葉(「指定の日」「困ること」など)は、要点が残っているものとして ○ にしました(答えを見てから決めた扱いで、6 モデルに同じように当てはめました)。申請書・窓口・係員などの物の名前は、残してよいことにしています。

6 モデルの答え(言い換え・全文)

Claude Sonnet 5.5

テキスト
1. この申請書は、必要なことをもれなく書いてください。決まった日までに、窓口に出してください。
2. この施設を使うときは、係の人の指示を守ってください。ほかの利用者の迷惑になることは、絶対にしないでください。
3. 天気が悪いなどで、開くのが難しいと判断された場合です。その場合は、当日の午前7時までに、市のホームページで中止をお知らせします。

GPT-6.1 Sol

テキスト
1. この申請書に、必要なことをもれなく書いてください。決められた日までに、窓口に出してください。
2. この施設を使うときは、係の人の指示を守ってください。ほかの利用者に迷惑をかけることは、決してしないでください。
3. 天気が悪いなどの理由で、開くのが難しいと判断した場合は、中止を知らせます。その日の午前7時までに、市のホームページで知らせます。

Gemini 3.8 Flash

テキスト
1. この申しこみ書に必要なことをすべて書いてください。決められた日までに窓口へ出してください。
2. この施設を使うときは、係の人の言うことを守ってください。ほかの使っている人のめいわくになることは、絶対にやめてください。
3. 天気が悪いなどで開くのがむずかしいと判断されたときは中止します。そのことは、当日の午前7時までに市のホームページでお知らせします。

Grok 4.3

テキスト
1. 申請書に必要なことを全部書いてください。指定の日までに窓口に出してください。
2. 施設を使う時は、係員の指示を守ってください。他の人に迷惑をかけないでください。
3. 悪天候などで開けない場合は、中止します。当日7時までに市のホームページで知らせます。

DeepSeek V4.1 Flash

テキスト
1. この申請書は、必要なことを漏れなく書いてください。決められた日までに窓口へ出してください。
2. この施設を使うときは、係の人の指示に従ってください。ほかの利用者が困ることは絶対にしないでください。
3. 悪い天気などで開くのが難しいと判断したときは、中止のお知らせをします。その日の午前7時までに市のホームページでお知らせします。

Sakana Namazu

テキスト
1. この申請書は、必要なことをすべて書いて、決められた日までに窓口に出してください。
2. この施設を使うとき、係員の言うことを守り、他の人に迷惑をかけないでください。
3. 悪い天気などで開けないと決まったら、当日午前7時までに中止を知らせます。市のホームページで知らせます。

日本語の決まり: 2 回とも同じ問いを落としたモデルは無い

日本語の決まり 10 問の表。Gemini 3.8 Flash・Grok 4.3・DeepSeek V4.1 Flash は 10 問とも ○。Claude Sonnet 5.5 と GPT-6.1 Sol は問 5 に「賠償」と答えて ×。Sakana Namazu は問 4 に「取」と答えて ×
日本語の決まり 10 問の ○ ×(1 回目)。× のマスには、そのモデルの答えを書いた撮影・作図: 編集部
  • 1 回目に 10 問すべて正解だったのは、Gemini 3.8 Flash・Grok 4.3・DeepSeek V4.1 Flash です。
  • 言葉の意味(問 1〜3): 6 モデルとも、2 回とも正解です。
  • 漢字(問 4・5): 1 回目では、Sakana Namazu は、「会議で決をとる」に「取」と答えました。平成24年度の調査は、「採」を選ぶのが一般的と考えられるとしています。Claude Sonnet 5.5 と GPT-6.1 Sol は、「ほしょう」を漢字で書く問いに「賠償」と答えました。常用漢字表で「賠」の読みは「バイ」で、問いの読みと合いません。
  • 字数と音数(問 8〜10): 26 字の文の字数を数える、ちょうど 30 字の 1 文を書く、五・七・五の俳句を作る、の 3 問は、1 回目は 6 モデルとも正解でした。

俳句は、ひらがなで書いてもらい、音数を Python で数えています。題に合うかどうかと、季語は採点していません。

日本語の決まりの依頼の文(全文)と、正解
テキスト
次の 1〜10 の問いに答えてください。答えは「1. 答え」の形で、1 問につき 1 行で書いてください。解説は書かないでください。

1. 「彼には役不足の仕事だ」の「役不足」の本来の意味は、次のどちらですか。記号で答えてください。 ア: 本人の力量に対して役目が重すぎること イ: 本人の力量に対して役目が軽すぎること
2. 「借金をなし崩しにする」の「なし崩し」の本来の意味は、次のどちらですか。記号で答えてください。 ア: なかったことにすること イ: 少しずつ返していくこと
3. 「胸のつかえがなくなり、気が晴れること」を表す本来の言い方は、次のどちらですか。記号で答えてください。 ア: 溜飲を下げる イ: 溜飲を晴らす
4. 「会議で決をとる」の「と」に当てる漢字 1 字を書いてください。
5. 「事故で相手に与えた損害をほしょうする」の「ほしょう」を、漢字 2 字で書いてください。
6. 「凡例」の読みを、ひらがなで書いてください。
7. 「鼻血」の読みを、現代仮名遣いのひらがなで書いてください。
8. 次のかぎかっこの中の文の字数を、数字で答えてください。句読点も 1 字と数えます。 「来週の火曜日、午後から会議室で打ち合わせを行います。」
9. 「読書のよいところ」を、ちょうど 30 字の 1 文で書いてください。句読点も 1 字と数えます。
10. 「秋の朝」を題にした俳句を 1 句、五・七・五の音数で作ってください。ひらがなだけで書き、五・七・五の間を空白で区切ってください。
問 正解 確かめた資料
1 イ 文化庁「平成24年度 国語に関する世論調査」
2 イ 文化庁「平成29年度 国語に関する世論調査」
3 ア 文化庁「平成29年度 国語に関する世論調査」
4 採 文化庁「平成24年度 国語に関する世論調査」
5 補償 デジタル大辞泉「補償」
6 はんれい 常用漢字表(「凡」の読み「ハン」の例に「凡例」)
7 はなぢ 現代仮名遣い 本文 第2
8 26 Python で数えた
9 字数が 30 で、文が 1 つ Python で数えた
10 3 つに区切られ、音数が 5・7・5 Python で数えた

音数は、ひらがな 1 字を 1 音と数えました。小さい「ゃ・ゅ・ょ」などは前の字と合わせて 1 音、「っ」「ん」「ー」は 1 音です。

6 モデルの答え(日本語の決まり・全文)

Claude Sonnet 5.5

テキスト
1. イ
2. イ
3. ア
4. 採
5. 賠償
6. はんれい
7. はなぢ
8. 26
9. 読書は知らない世界を見せてくれて、想像力を豊かにしてくれる。
10. ひんやりと あきのあさかぜ ほほをなで

GPT-6.1 Sol

テキスト
1. イ
2. イ
3. ア
4. 採
5. 賠償
6. はんれい
7. はなぢ
8. 26
9. 読書は知識を増やし、想像力を育み、心まで豊かにしてくれます。
10. あきのあさ ひかりをあびて きくかおる

Gemini 3.8 Flash

テキスト
1. イ
2. イ
3. ア
4. 採
5. 補償
6. はんれい
7. はなぢ
8. 26
9. 本を読むことで、知らない世界や多彩な考えに触れられる点です。
10. しろいきり はれてすずしき あきのあさ

Grok 4.3

テキスト
1. イ
2. イ
3. ア
4. 採
5. 補償
6. はんれい
7. はなぢ
8. 26
9. 読書は静かな時間に心を落ち着かせ新しい世界を見せてくれます。
10. あきのあさ くさのうえには つゆのたま

DeepSeek V4.1 Flash

テキスト
1. イ
2. イ
3. ア
4. 採
5. 補償
6. はんれい
7. はなぢ
8. 26
9. 読書のよいところは、さまざまな知識や物語に触れられることだ。
10. あきのあさ すずしいかぜが むねおどる

Sakana Namazu

テキスト
1. イ
2. イ
3. ア
4. 取
5. 補償
6. はんれい
7. はなぢ
8. 26
9. 読書は想像力豊かになり人の気持ちを深く理解する力を養います。
10. さむさかな あきのあさひの うつくしさ

時間と料金

モデルごとの横棒グラフ。時間の合計は Claude Sonnet 5.5 が 29.5 秒、GPT-6.1 Sol が 39.5 秒、Gemini 3.8 Flash が 71.2 秒、Grok 4.3 が 70.4 秒、DeepSeek V4.1 Flash が 169.8 秒、Sakana Namazu が 119.3 秒。クレジットの合計は、同じ順に 6.9・4.1・6.3・3.4・3.4・15.9
4 分野の合計の時間(上)とクレジット(下)。棒の色は分野、右の数字は 4 回の合計撮影・作図: 編集部

1 回目の、1 回の依頼ごとの値です。マスは「答えが返るまでの時間・クレジット」です。

モデル 敬語 要約 言い換え 日本語の決まり 合計
Claude Sonnet 5.5 2.1 秒・0.6 2.6 秒・0.8 15.0 秒・3.3 9.8 秒・2.2 29.5 秒・6.9
GPT-6.1 Sol 6.7 秒・0.7 6.5 秒・0.9 12.8 秒・1.1 13.5 秒・1.4 39.5 秒・4.1
Gemini 3.8 Flash 11.1 秒・0.9 12.7 秒・1.1 36.7 秒・3.4 10.7 秒・1.0 71.2 秒・6.3
Grok 4.3 11.5 秒・0.7 6.2 秒・0.4 27.2 秒・1.1 25.5 秒・1.2 70.4 秒・3.4
DeepSeek V4.1 Flash 97.0 秒・1.8 6.5 秒・0.2 42.7 秒・0.9 23.6 秒・0.5 169.8 秒・3.4
Sakana Namazu 31.6 秒・4.4 4.1 秒・0.8 19.3 秒・4.0 64.3 秒・6.8 119.3 秒・15.9
  • 4 回の合計の時間は、Claude Sonnet 5.5 が 29.5 秒でいちばん短く、DeepSeek V4.1 Flash が 169.8 秒でいちばん長くなりました。
  • 4 回の合計のクレジットは、Grok 4.3 と DeepSeek V4.1 Flash が 3.4 でいちばん少なく、Sakana Namazu が 15.9 でいちばん多くなりました。
  • 要約は、6 モデルとも 13 秒以内・1.1 クレジット以内でした。
  • 24 回の合計は 40.1 クレジットでした。

時間は、道具を呼んでから答えが返るまでの秒数で、混み具合でも変わります。

もう 1 回渡すと、点は動く

1 回目と 2 回目の点の表。合計は、Claude Sonnet 5.5 が 41 から 43、GPT-6.1 Sol が 43 から 44、Gemini 3.8 Flash が 43 から 43、Grok 4.3 が 41 から 38、DeepSeek V4.1 Flash が 42 から 41、Sakana Namazu が 43 から 44
1 回目と 2 回目の点。色の付いたマスは、点が変わった所撮影・作図: 編集部

AI の答えは、同じ文を渡しても、同じになるとは限りません。ぶれを見るために、同じ 24 回をもう一度流し、同じ決まりで採点しました。2 回目にかかったのは 38.0 クレジットです。

  • 合計の点は、Gemini 3.8 Flash が変わらず、ほかの 5 モデルは 1〜3 点動きました。
  • 敬語は、6 モデルとも 2 回とも同じ点で、× になった問いも同じでした。
  • 日本語の決まりは、4 モデルで点が変わりました。Claude Sonnet 5.5 と GPT-6.1 Sol は 2 回目は「補償」と、Sakana Namazu は「採」と書きました。Grok 4.3 は、2 回目に「決をとる」を「取」と答え、26 字の文を「24」と数え、30 字の文が 28 字になって、7 点でした。
  • 要約では、Claude Sonnet 5.5 が 2 回目も 200 字を超えました(216 字)。DeepSeek V4.1 Flash は、2 回目は処理券の期限が抜けました。
  • 言い換えでは、Claude Sonnet 5.5 が 2 回目に「判断」を「決めた」に言い換え、15 項目すべて ○ になりました。

2 回目には、正解の表に無い形が 2 つありました。Sakana Namazu の敬語の問 5「先生がご指導なさったおかげで」は、指針が尊敬語の形に挙げる「ご…なさる」にあたるので ○ にしました。言い換えの問 3「天気が悪いなどで中止なら」は、「開けない」にあたる言葉がありませんが、意味は保たれているとして ○ にしています。

2 回の結果を見るかぎり、1 回目の差(最大 2 点)は、もう 1 回流すと入れ替わる大きさです。

国産の AI は強いのか

今回の 6 つのうち、日本の会社のモデルは、Sakana AI の Sakana Namazu です(公式サイトの所在地は Tokyo, Japan)。

Sakana AI の発表(2026年8月3日)は、Sakana Namazu を「日本語特化のLLM API」と説明しています。発表によると、Moonshot AI が公開するオープンモデル「Kimi K2.6」をベースに、社内の独自のデータで、日本語と日本の業務の文脈に合わせたモデルです。発表は、日本語での指示に従う力を測る JFBench などで、ベースのモデルを上回ったとしています。これは、Sakana AI 自身による評価です。

今回の点で分かるのは、次のことです。

  • 合計は 1 回目が 43 点、2 回目が 44 点で、どちらも、ほかの 5 モデルの点の範囲の中でした。
  • 2 回とも同じだったのは、言い換えに「残してはいけない語」が残らなかったことと、敬語の問 7 が × だったことです。

今回の問いでは、「国産だから強い」とも「弱い」とも言えませんでした。

使い分けの目安

2 回とも同じだった結果を、用途ごとにまとめます。どれが上かではなく、人が確かめる所の目安です。

  • 社外に出す文の敬語: 自分の会社の人の呼び方(3 モデル)と、品物への「おそろいでしょうか」(2 モデル)は、2 回とも残りました。どのモデルでも、この 2 つは人が確かめるほうが安全です。
  • 字数の決まった要約: 200 字以内は、5 モデルが 2 回とも守りました。Claude Sonnet 5.5 は 2 回とも超えたので、字数を数え直してください。
  • やさしい言葉への言い換え: 1 文 40 字以内は、6 モデルが 2 回とも守りました。硬い語が残っていないかは、読んで確かめます。

気をつけること

  • 問いは各分野 10〜15 個で、1 問の正誤で点の並びが入れ替わります。流したのは 2 回だけです。点は、モデルの日本語の力の全体を表すものではありません。
  • 比べたのは、各社の標準のモデルです。モデルや版が変わると、結果も変わります。
  • 要約の要点と言い換えの意味は、編集部の判断で採点しました。要点の選び方や、残してはいけない語の決め方が変われば、点も変わります。
  • 敬語の正解は、「敬語の指針」で確かめられる範囲です。実際の場面では、相手との関係や職場の習慣で、ふさわしい言い方が変わります。
  • 1 回の依頼に、その分野の問いをまとめて入れました。1 問ずつ聞いた場合や、前置きの指示を付けた場合は、試していません。

まとめ

題の「日本語に強い AI はどれ?」には、今回の問いの数では、どれが強いとは言えない、というのが答えです。6 つの標準のモデルの点は 45 点中 41〜43 点で、差は、もう 1 回渡すと入れ替わる程度でした。違ったのは、落とした問いの種類です。AI に日本語の文章を任せるときは、社内の人の呼び方、字数の上限、入れたい日付などを、人が確かめることが役に立ちます。

参考にした公式の情報

XFacebookはてブLINE

執筆者

佐々木 航@w_sasaki

with Claude Code

プロフィール

株式会社Game 代表取締役。工学部出身で、21歳で起業してからシステム会社の経営一筋で8期目。アプリの受託開発から始め、いまはAIを使ったシステムソリューションを手がけています。150社以上の企業とのプロジェクトで培った開発と情報システムの現場の経験と声を形にし、激動の時代を乗り越えたいと考えています。

この記事は、Claude Code を使って執筆しました。画面の画像は、検証環境で実際に操作して撮影したものです(引用の画像は出典を記載しています)。内容の誤りはお問い合わせからお知らせください。

連載

同じお題で AI を比べる
全 14 回の目次
  1. 1日本語の文字が崩れない画像生成 AI はどれ? 同じ看板を 5 つのモデルに描かせて比べた
  2. 3日本語の読み上げが自然な AI はどれ? 同じ原稿を 4 つの声で聞き比べ
  3. 4生成 AI の使い分け 2026 年版 同じお題で 13 回比べて分かった得意分野
  4. 5Claude・GPT・Gemini・Grok に同じ仕事を頼んで比べた 要約・メール・企画書の 3 本勝負
  5. 6GPT-Image-2.5 と Nano Banana Pro、どっちがいい? 同じ 10 のお題で描き比べた
  6. 7画像生成 AI を実写とアニメで比較 同じプロンプトで 6 モデルの得意と苦手を見る
  7. 8商品画像は AI のどれで作る? 同じ商品写真から 5 モデルで作って比べた
  8. 9サムネイルとバナーを AI 5 つに作らせた 文字入りはどこまで使える?
  9. 10動画生成 AI 5 つを同じプロンプトで比較 動き・破綻・1 本あたりの料金
  10. 11アニメ調の動画に強い AI はどれ? 同じ 1 枚絵を 5 モデルで動かした
  11. 12日本語に強い AI はどれ? 敬語・要約・言い換えを 6 モデルで比べた(この記事)
  12. 13高いモデルと安いモデル、差が出るのはどんな仕事? 同じ 10 問を料金つきで比べた
  13. 14文字起こしの精度を AI 3 つで比較 会議・早口・雑音ありの合成音声で試した
  14. 15Tripo と Meshy を比較 同じ 1 枚の写真から 3D モデルを作って回して見た