Insights — 成果

海外研修の効果測定:前後比較・ルーブリック・BEVI の使い分けと学内報告の型

「満足度9割」だけでは、海外研修の効果は学内で説明できません。研究で使われている測り方(前後比較・ルーブリック・BEVI・記録の分析・追跡)の長所と限界を整理し、キミタビの2026年夏の数字(n つき)と、そのまま使える学内報告の型を載せました。

 文:株式会社IMPACT ASIA

海外研修の報告書を開くと、たいてい最初のページに「満足度」が載っています。けれど、満足度が高いことと、学生が何かを身につけたことは別の話です。

日本学生支援機構の「海外留学経験者の追跡調査」(平成30年度、1,001件)では、留学経験者の約9割が「満足」と答え、9割近くが「留学後に考え方が変わった」と答えています。どの研修でも、終わったあとに聞けば、多くの学生は「よかった」と答えるのです。だから「満足度9割」は、学内で研修の価値を説明する根拠としては弱い。

広島大学を中心とした科研費の研究(研究代表者 西谷元、2019〜2022年度)も、成果の概要で、留学・国際プログラムの効果測定は「未だに満足度調査また主観的評価をプログラム終了後に求めるものが大部分」だと指摘しています。この記事では、その一歩先へ進むための測り方を整理します。

研究で使われている5つの測り方

測り方 中身 長所 限界
1 前後比較のアンケート 同じ学生に、出発前と帰国後に同じ設問で聞く すぐ始められる。変化の向きが分かる 自己評価。答えた人だけの数字になる
2 ルーブリック 到達の段階ごとの特徴を書いた表で、教員が行動や成果物を評価する 「過程」を評価できる。評価者の基準をそろえられる 作るのに手間。意識の変化は測りにくい
3 標準化された尺度(BEVI など) 研究で開発された質問紙で、価値観や異文化への態度を測る 他の大学・プログラムと比べられる 導入の手続きと費用。結果の読み方に研修が要る
4 記録の分析 毎日の記録や研修日誌の言葉を分析する 何が起きたかの「中身」が分かる 少人数では量的な分析が難しい
5 帰国後の追跡 1か月後・3か月後・半年後に、行動や進路を聞く 効果が続いたかが分かる 回答が減っていく

いくつか補足します。

ルーブリックについて、中教審の「教学マネジメント指針」(2020年)は、パフォーマンスなどの定性的な評価や直接評価に向き、評価者と学生の認識の共有、複数の評価者の基準の標準化に利点があると説明し、米国の AAC&U が開発した VALUE ルーブリックにも触れています。

記録の分析について、泰松(2023)は、研修日誌をテキストマイニングで分析した先行研究を紹介しつつ、教育旅行は多くの場合数人から20人程度の規模で、サンプルが少ないと成り立たない手法は導入が難しいと述べています。少人数なら、頻出語を数えるより、少数でも示唆に富む言葉を拾う読み方が向いています。

BEVI(the Beliefs, Events, and Values Inventory)は、上の科研費の研究が「客観的分析ツール」として用い、留学プログラムの学修成果の可視化と質保証に使おうとしているものです。

「行きたい人が行く」という落とし穴

前後比較で数字が上がっても、それを研修の効果とそのまま書くのは危険です。研修に申し込む学生は、もともと意欲が高い。前後の差の一部は、研修がなくても起きた変化かもしれません。

一橋大学の加島ほか(2020)は、この問題を正面から扱いました。ある大学の英語圏への短期留学で、応募者の中から参加者がランダムに選ばれていたデータ(延べ応募者705人、延べ参加者300人)を使い、留学の効果測定で主な問題となる「自己選択バイアス」を取り除いて比べています。参加は、長期留学への参加や TOEFL の点数の向上など国際的なスキルを促し、それを通じて卒業後の初職の特徴にも影響した、という結果でした。

すべての大学がこうした比較をできるわけではありません。けれど学内報告では、少なくとも次の3つを書いておくと、数字が誠実になります。

  • 回答者の数(n)と、参加者のうち何割が答えたか
  • 自己評価か、教員の評価か
  • 比べる相手(参加しなかった学生)がいないこと

キミタビの2026年夏の数字と、その限界

キミタビでは、同じ参加者に、出発前と帰国後に同じ質問をして比べています(10点法)。n を必ず添え、良い数字だけを選ばないことを決まりにしています。

質問 出発前 帰国後 n
英語を話すことへの抵抗(低いほど良い) 4.77 3.32 22
英語で伝えられる自信(高いほど良い) 4.05 5.86 22
治安への不安(低いほど良い) 5.83 3.33 24

帰国後だけに聞いた項目もあります。「価値観が変わった」は10点中8.6(n=77、73%が8以上)、満足は96%(n=55)、他の人に勧めたいかを表す NPS は 55.3(n=85)でした。日ごとの満足度は Day1 8.6、Day7 7.6、Day10 9.0 と動きます(いずれも2026年夏)。

この数字の限界も書いておきます。

  • 前後比較の n は22〜24で、帰国後だけの項目より小さい。両方に答えた人だけを数えているため
  • すべて自己評価で、参加しなかった学生との比較はない
  • 帰国後の追跡(1か月後・3か月後・半年後)は続けている途中
  • 村の側の変化はまだ測り切れていない。子どもが将来を語れる場はつくれたが、語った将来が実現するまでの壁には、まだ手が届いていない。カンボジア側の物差しは、支援地域の中学卒業率に置いている

評価の設計の例:3つを組み合わせる

1つの方法で全部を測ろうとせず、目的ごとに組み合わせるのが現実的です。学科の科目として実施する場合の例です。

何を知りたいか 方法 いつ 誰が
学生が到達目標に届いたか(成績) ルーブリック(行動と成果物) 現地の発表・事後の報告書 担当教員
学生の中で何が変わったか 前後比較のアンケート(同じ設問) 出発前・帰国直後 研修側が集計、大学に提供
なぜ変わったか 毎日の記録と振り返りの言葉 毎日・節目 研修側が読み、要約を提供
変化が続いたか 帰国後の追跡 1か月後・3か月後・半年後 研修側と大学

ルーブリックの観点の例(4段階で書く):

観点 到達の目安(いちばん上の段)
課題を定める 現地での聞き取りから、根拠のある問いを自分の言葉で立てている
協働する 言葉や文化の違うメンバーの意見を引き出し、チームの決定に反映させている
伝える 英語で、相手に合わせて言い換えながら提案を伝えている
振り返る 自分の変化を、記録にもとづいて具体的に説明している

前後比較のアンケートを作るときの7つの決まり

いちばん始めやすい前後比較も、作り方しだいで数字の意味が変わります。次の7つを押さえておくと、数字がぶれにくくなります。

  1. 前と後で、設問の言葉を一字も変えない。「英語で話すことへの抵抗」と「英語への苦手意識」は別の質問です
  2. **点数の両端に言葉をつける。**たとえば「0=まったくない」「10=とても強い」。10点法なら、中央の5に意味を持たせない
  3. 向きを書いておく。「抵抗」「不安」は下がるほど良い、「自信」は上がるほど良い。報告の表にも書く
  4. **同じ人を結びつける。**前と後の回答を、学籍番号などで結びつけて比べる。結びつけられない回答は、前後比較から外す
  5. **聞く時期をそろえる。**出発の1〜2週間前と、帰国後1週間以内など。帰国直後の高揚が入ることは、限界として書く
  6. **設問は少なく。**目的に関わる5〜10問に絞る。多すぎると帰国後の回答が減る
  7. 自由記述を1問だけ添える。「この研修で、いちばん変わったと思うことは何ですか」。数字の理由が分かる

毎日の記録をどう読むか

数字が「どれだけ」を示すのに対し、記録の言葉は「なぜ」を示します。キミタビでは、学生が毎日、学び・次の一歩・満足度・体調・写真1枚を残し、スタッフが翌朝までに全員分を読みます。要約と変化の把握には AI の補助を使い、判断と対話はスタッフが行います。

記録を学内の評価や報告に使うときは、次の観点で読むと整理しやすくなります。

観点 記録の中で探すもの
問いの変化 「なぜ」で始まる文が増えたか。問いが具体的になったか
他者との関わり 現地の学生や住民の名前・言葉が出てくるか
自分の変化 「前は〜だったが、今日は〜できた」という比較が書けているか
次の行動 「次の一歩」が、前日より具体的になっているか
気持ちの揺れ 満足度と体調の動き。数日続けて下がっていないか

測る年間の段取り

時期 すること
企画の段階 伸ばす力を決め、それに合う設問とルーブリックの観点を決める
出発の1〜2週間前 前のアンケート。目標と「いまの自分」を書かせる
研修中 毎日の記録。ルーブリックの観点で行動を観察する
帰国後1週間以内 後のアンケート(前と同じ設問)と自由記述
帰国後1か月以内 報告書・発表をルーブリックで評価。学内報告をまとめる
1か月後・3か月後・半年後 追跡の設問。宣言したことの進み、進路や学びの選択への影響

学内報告の型:1枚で出す

学内の会議や次年度の予算の説明では、次の順で1枚にまとめると伝わります。

  1. 目的:どの力を伸ばすための研修か(学位授与の方針との対応)
  2. 実施の概要:期間、行き先、中身(参加者の内訳は学内の資料で)
  3. 変化:前後比較の表(n と回答の割合を添える)
  4. 到達:ルーブリックの段階ごとの分布
  5. 学生の言葉:記録から2〜3つ(本人の同意を得て)
  6. 限界と次年度の改善:測れなかったこと、設計で変えること

キミタビの実施報告書(大学向け)は、この形に近い構成でお渡ししています。研修の設計そのものについては「海外研修プログラムの設計」を、日ごとの満足度の動きは「海外研修のカルチャーショックと『谷』」をご覧ください。報告書は資料請求のフォームからお送りします。

More — ほかの読み物