Sarashina3の「国語に関する世論調査」（文化庁オープンデータ）に対する応答の性質 ― 全12問・完全版データ Response Properties of Sarashina3 on the Bunkacho National Language Survey (Full 12-Item Appendix)
SB Intuitionsが公開した日本語特化LLM Sarashina3（sarashina3-mini / sarashina3-nano）と Claude Sonnet 5.5 を対象に、文化庁『国語に関する世論調査』（令和5年度・令和6年度・令和7年度調査）の主要12問および性別×年齢12階層の公式クロス集計データを用いて、①選択肢順序の一貫性（正順 vs 逆順）と②ペルソナ感応度（デフォルト vs 性別×年代12階層）を検証した完全版データ・Appendixです。
Full experimental appendix evaluating Sarashina3 (sarashina3-mini / sarashina3-nano) and Claude Sonnet 5.5 across 12 items from the Agency for Cultural Affairs (Bunkacho) Public Opinion Survey on the Japanese Language (FY2023–FY2025 open data), probing (1) Option-Order Consistency (original vs. reversed option order) and (2) Persona Steerability across 12 Gender × Age brackets.
01
Overall Summary / 2つの検証軸の全体サマリー（13ペルソナ × 全12問 ＝ 156回答ペア） Overall Summary across 156 Response Pairs (13 Personas × 12 Questions)
| Model | ① 選択肢順序の一貫性（全12問一致率） | ① 分野別一致率（慣用句6問 / 言葉遣い6問） | 先頭選択肢（1）選択率（正順 → 逆順） |
② ペルソナ感応度（属性で回答が分かれた設問数：正順 / 逆順） |
|---|---|---|---|---|
| Sarashina3 mini | 93.6% (146/156) | 100.0% (78/78) / 87.2% (68/78) | 75.6% → 19.2% | 2/12問 / 5/12問（正順内訳：慣用句0・言葉遣い2） |
| Sarashina3 nano | 52.6% (82/156) | 37.2% (29/78) / 67.9% (53/78) | 66.0% → 42.3% | 6/12問 / 7/12問（正順内訳：慣用句2・言葉遣い4） |
| Claude Sonnet 5.5 | 80.8% (126/156) | 78.2% (61/78) / 83.3% (65/78) | 64.7% → 20.5% | 10/12問 / 10/12問（正順内訳：慣用句4・言葉遣い6） |
02
Per-Question Breakdown / 全12問の設問別応答比較（第1選択肢の選択率と若年→高齢変化） Per-Question Response Comparison (First-Category Rate & Young 20–39 → Senior 60+ Shift)
各設問における「第1選択肢（調査票で 1 に置かれている基準カテゴリ）」が選ばれた割合（12属性平均：正順 / 逆順）と、カッコ内に正順での若年層（20〜30代男女4枠）→ 高齢層（60代・70歳以上男女4枠）の変化を示します。なお、Q1（「ひもとく」の意味）において Sarashina3 mini が 0% / 0% となっているのは、正順・逆順ともに全13ペルソナで 3（「書物を読む」と「真相を明らかにする」の両方） を100%選択したためです。
| ID | 設問テーマ | 第1選択肢（基準カテゴリ） | 文化庁実データ 総数（若年→高齢） |
Sarashina3 mini 正順 / 逆順（若→高） |
Sarashina3 nano 正順 / 逆順（若→高） |
Claude Sonnet 5.5 正順 / 逆順（若→高） |
|---|---|---|---|---|---|---|
| Q1 | 「ひもとく」の意味 | 本来の意味：書物を読む（1） | 13.1% (8%→17%) |
0% / 0%(若0%→高0% ※全員3) |
100% / 0%(若100%→高100%) |
50% / 25%(若0%→高100%) |
| Q2 | 「気が置けない」の意味 | 本来の意味：遠慮不要（1） | 47.4% (40%→50%) |
100% / 100%(若100%→高100%) |
100% / 0%(若100%→高100%) |
100% / 100%(若100%→高100%) |
| Q3 | 「したり顔」の意味 | 本来の意味：得意げ（1） | 64.5% (76%→55%) |
100% / 100%(若100%→高100%) |
75% / 0%(若100%→高50%) |
83% / 67%(若50%→高100%) |
| Q4 | 「役不足」の意味 | 新しい意味：役目が重すぎる（1） | 48.9% (49%→49%) |
100% / 100%(若100%→高100%) |
0% / 0%(若0%→高0% ※全員2) |
50% / 17%(若75%→高0%) |
| Q5 | 「煮え湯を飲まされる」の意味 | 本来の意味：裏切られる（1） | 68.5% (54%→78%) |
100% / 100%(若100%→高100%) |
100% / 100%(若100%→高100%) |
100% / 100%(若100%→高100%) |
| Q6 | 「失笑する」の意味 | 本来の意味：吹き出して笑う（1） | 26.4% (16%→35%) |
100% / 100%(若100%→高100%) |
83% / 0%(若100%→高50%) |
92% / 67%(若100%→高100%) |
| Q7 | 「見られた」か「見れた」か（ら抜き言葉） | 「見られた」を使う（1） | 44.5% (27%→58%) |
100% / 92%(若100%→高100%) |
92% / 17%(若75%→高100%) |
67% / 42%(若0%→高100%) |
| Q8 | 「出られる？」か「出れる？」か（ら抜き言葉） | 「出られる？」を使う（1） | 47.3% (30%→56%) |
100% / 92%(若100%→高100%) |
100% / 83%(若100%→高100%) |
58% / 42%(若0%→高100%) |
| Q9 | 「買ってやりたい」か「買ってあげたい」か | 「買ってやりたい」を使う（1） | 31.3% (12%→46%) |
0% / 0%(若0%→高0% ※全員2) |
0% / 8%(若0%→高0%) |
17% / 42%(若0%→高50%) |
| Q10 | これからの敬語の在り方（簡潔さか伝統か） | 簡単で分かりやすい敬語（1） | 32.7% (42%→31%) |
100% / 42%(若100%→高100%) |
33% / 0%(若100%→高0%) |
50% / 50%(若100%→高0%) |
| Q11 | 「なるはやで」という言い方を使うか | 使うことがある（1） | 33.4% (68%→12%) |
50% / 50%(若100%→高0%) |
33% / 33%(若100%→高0%) |
58% / 58%(若100%→高0%) |
| Q12 | 「課金する」という言い方を使うか | 使うことがある（1） | 46.2% (82%→21%) |
50% / 50%(若100%→高0%) |
83% / 58%(若100%→高50%) |
58% / 67%(若100%→高0%) |
03
Option-Order Consistency / 設問別の選択肢順序耐性（正順 vs 逆順の一致率：13ペルソナ中） Per-Question Option-Order Consistency (Exact Match Rate out of 13 Personas)
| ID | 設問テーマ | Sarashina3 mini（一致数/13） | Sarashina3 nano（一致数/13） | Claude Sonnet 5.5（一致数/13） |
|---|---|---|---|---|
| Q1 | 「ひもとく」の意味 | 100% (13/13) | 0% (0/13) | 54% (7/13) |
| Q2 | 「気が置けない」の意味 | 100% (13/13) | 0% (0/13) | 100% (13/13) |
| Q3 | 「したり顔」の意味 | 100% (13/13) | 23% (3/13) | 69% (9/13) |
| Q4 | 「役不足」の意味 | 100% (13/13) | 100% (13/13) | 69% (9/13) |
| Q5 | 「煮え湯を飲まされる」の意味 | 100% (13/13) | 100% (13/13) | 100% (13/13) |
| Q6 | 「失笑する」の意味 | 100% (13/13) | 0% (0/13) | 77% (10/13) |
| Q7 | 「見られた」か「見れた」か（ら抜き言葉） | 92% (12/13) | 23% (3/13) | 69% (9/13) |
| Q8 | 「出られる？」か「出れる？」か（ら抜き言葉） | 92% (12/13) | 85% (11/13) | 85% (11/13) |
| Q9 | 「買ってやりたい」か「買ってあげたい」か | 100% (13/13) | 92% (12/13) | 69% (9/13) |
| Q10 | これからの敬語の在り方（簡潔さか伝統か） | 38% (5/13) | 31% (4/13) | 92% (12/13) |
| Q11 | 「なるはやで」という言い方を使うか | 100% (13/13) | 100% (13/13) | 92% (12/13) |
| Q12 | 「課金する」という言い方を使うか | 100% (13/13) | 77% (10/13) | 92% (12/13) |
04
Survey Items & Methodology / 評価対象設問一覧と実験設計 Survey Items & Methodology
カテゴリA：慣用句・語句の意味の揺れ（4択：本来の意味 / 新しい意味 / 両方 / 全く別の意味）
- Q1（令和7年度 問18-(1)）：「ひもとく」の意味（
1.関係する書物を読む[本来:13.1%]/2.真相を明らかにする[新:69.9%]/3.両方[15.0%]/4.全く別の意味[1.2%]） - Q2（令和7年度 問18-(2)）：「気が置けない」の意味（
1.相手に対して気遣いや遠慮をする必要がないこと[本来:47.4%]/2.相手に対して気遣いや遠慮をしなくてはならないこと[新:44.3%]/3.両方[4.3%]/4.全く別の意味[3.2%]） - Q3（令和7年度 問18-(3)）：「したり顔」の意味（
1.得意げな様子[本来:64.5%]/2.何かたくらんでいる様子[新:25.1%]/3.両方[8.2%]/4.全く別の意味[1.1%]） - Q4（令和6年度 問19-(1)）：「役不足」の意味（
1.本人の力量に対して役目が重すぎること[新:48.9%]/2.本人の力量に対して役目が軽すぎること[本来:45.1%]/3.両方[4.5%]/4.全く別の意味[0.9%]※調査票の提示順通り1が新しい意味、2が本来の意味） - Q5（令和6年度 問19-(3)）：「煮え湯を飲まされる」の意味（
1.信頼していた者から裏切られて、ひどい目に遭うこと[本来:68.5%]/2.大変な苦労や厳しい試練を経験すること[新:24.4%]/3.両方[5.3%]/4.全く別の意味[1.0%]） - Q6（令和5年度 問20-(2)）：「失笑する」の意味（
1.こらえ切れず吹き出して笑う[本来:26.4%]/2.笑いも出ないくらいあきれる[新:67.0%]/3.両方[3.1%]/4.全く別の意味[3.0%]）
カテゴリB：言葉遣い・敬語・新語表現の選択（2〜3択）
- Q7（令和7年度 問17-(1)）：「見られた」か「見れた」か（
1.「見られた」を使う[44.5%]/2.「見れた」を使う[53.8%]） - Q8（令和7年度 問17-(5)）：「出られる？」か「出れる？」か（
1.「出られる？」を使う[47.3%]/2.「出れる？」を使う[51.0%]） - Q9（令和6年度 問17-(1)）：子供の服を「買ってやりたい」か「買ってあげたい」か（
1.「買ってやりたい」を使う[31.3%]/2.「買ってあげたい」を使う[67.2%]/3.どちらも使わない[0.0%]） - Q10（令和5年度 問15）：これからの敬語の在り方（
1.簡単で分かりやすい敬語[32.7%]/2.伝統的で美しい敬語[54.4%]/3.どちらとも言えない[11.5%]） - Q11（令和6年度 問15-(1)）：「なるはやで」という言い方を使うか（
1.使うことがある[33.4%]/2.使うことはない[64.9%]） - Q12（令和6年度 問15-(3)）：「課金する」という言い方を使うか（
1.使うことがある[46.2%]/2.使うことはない[52.1%]）
出典・編集加工の表示・参考文献
- 出典：「国語に関する世論調査」（文化庁）（https://www.bunka.go.jp/tokei_hakusho_shuppan/tokeichosa/kokugo_yoronchosa/index.html ↗）（2026年10月19日に利用）
- 編集・加工の表示：本ページの図表・集計表および検証データ（
data/questions.json）は、「国語に関する世論調査」（文化庁）（https://www.bunka.go.jp/tokei_hakusho_shuppan/tokeichosa/kokugo_yoronchosa/index.html ↗）の令和5年度・令和6年度・令和7年度調査「結果について（PDF）」および「集計表（Excel）」を加工して作成しています（文部科学省ウェブサイト利用規約 ↗・公共データ利用規約（第1.0版）準拠）。 - Dominguez-Olmedo, R., Hardt, M., & Mendler-Dünner, C. (2024). Questioning the Survey Responses of Large Language Models. Advances in Neural Information Processing Systems (NeurIPS 2024).
- Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P., & Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect? ICML 2023, PMLR 202:29971–30004.
- Tjuatja, L., Chen, V., Wu, S. T., Talwalkar, A., & Neubig, G. (2024). Do LLMs Exhibit Human-Like Response Biases? A Case Study in Survey Design. TACL, 12, 1011–1026.