【丸山隆央主任研究員コラム第3回】マダガスカル「みんなの学校プロジェクト」における3件のインパクト評価とエビデンス活用

JICA緒方貞子平和開発研究所には多様なバックグラウンドを持った研究員や職員が所属し、さまざまなステークホルダーやパートナーと連携して研究を進めています。そこで得られた新たな視点や見解を、コラムシリーズとして随時発信していきます。今回は、マダガスカルで行われたインパクト評価の経緯を概観し、今後のエビデンス活用に向けての教訓について、丸山隆央主任研究員が以下のコラムを執筆しました。

JICAは2000年代初頭から、学校と地域住民の代表からなる学校運営委員会という組織に着目し、同委員会の民主的設置と能力強化により、学校と地域住民の協働を通じた子どもたちの教育改善を図ってきています。学校と地域住民の協働を通じて子どもたちの教育改善を図るプロジェクトは、「みんなの学校プロジェクト」と呼ばれ、ニジェールやマダガスカルをはじめ、複数のサブサハラアフリカ諸国で展開されてきています。「みんなの学校プロジェクト」の歩みは、プロジェクトヒストリー『西アフリカの教育を変えた日本発の技術協力～ニジェールで花開いた「みんなの学校プロジェクト 』やプロジェクトニュースレター・月報集 （JICA図書館所蔵）で詳しくまとめられています。

みんなの学校プロジェクトは、現場の地域住民のさまざまな教育ニーズに対し、学校と地域住民の協働モデルと、研修などの介入パッケージの開発を行い、JICA緒方貞子平和開発研究所の研究プロジェクトとして実施されたインパクト評価を通じ、その効果を検証してきました（Sawada et al. 2022、Kozuka 2023）。今回は、マダガスカルにおいて、2018年から2022年にかけてプロジェクト活動の展開にあわせて行われた3件のインパクト評価と、そのエビデンス活用についてご紹介したいと思います。

マダガスカルでは2016年6月に、みんなの学校プロジェクトが開始された後、2017～2018年にかけ、PrathamというインドNGOの開発した”Teaching at the Right Level (TaRL)”と呼ばれる、読み書き・計算の教授法の導入が模索され、PMAQ-TaRLと呼ばれる介入パッケージの開発が行われました。PMAQ-TaRLは、学校運営改善コンポーネントと、教授法コンポーネントの2つのコンポーネントから構成されます。

学校運営コンポーネントは校長や学校運営委員会に対する研修であり、委員会の民主的設置、学習改善のための学校活動計画の策定・実施・レビュー、資源管理に関し、能力強化を行います。また、教授法コンポーネントは、教員や地域ボランティアに対するTaRL研修や教材の配布からなります。それらの介入により、各学校が地域住民とともにTaRLによる補習活動を含む学校活動計画を策定し、学校・地域ぐるみで補習活動を実施することが期待されます。

2018年半ばにはPMAQ-TaRLが開発されましたが、果たしてその介入パッケージは子どもたちの読み・計算の改善に効果があるのでしょうか。プロジェクトでは、パイロット活動を通じ、子どもたちの学習成果にかかる調査が行われていましたが、それらの調査は前後比較などにとどまり、介入効果を厳密に示すものではありませんでした。そこで、上記の問いに答えるべく、2018-2019学校年度、マダガスカル中南部に位置するAmoron’i Mania県（以下、「AM県」）でランダム化比較試験（Randomized Controlled Trial: RCT）（注）が行われました。AM県にある約1,000校から140校を無作為に抽出し、そのうち半数（70校）を介入群（PMAQ-TaRLを実施）、残る半数（70校）を対照群（介入はなし）としました。RCTの結果、PMAQ-TaRLにより、学校運営委員会のもとTaRLを用いた補習活動が実践されることで、子どもたちの読み・計算スキルを顕著に改善することが明らかとなりました（Maruyama & Igei Forthcoming）。

（注）RCTは、調査対象に介入を無作為に割り当て、介入を受けたグループと受けなかったグループを比較することにより、介入の効果を厳密に評価する手法です。

プロジェクトは、2019-2020学校年度にAM県の残る約900校に学校運営コンポーネントを普及し、2020-2021学校年度にかけて教授法コンポーネント（読み書き）を同県の全校に普及しました。パイロット活動に比べ、普及段階では研修の実施体制を変え、場合によってはコスト縮減をはかるなどの必要があります。パイロット段階で効果の確認された介入パッケージは、普及段階でも同様に子どもたちの学習を改善するのでしょうか。その問いに答えるべく、新型コロナウイルス感染症の影響による学校閉鎖が解かれた後、2件目のインパクト評価がAM県と、隣接するHaute Matsiatra県（HM県）の境の地域にある計130校を対象とし、差の差分析（Difference in Differences: DD）と呼ばれる方法を用いて実施されました。

HM県ではAM県よりも1学校年度遅れて2020-2021学校年度に学校運営コンポーネントにかかる介入が行われましたので、両県を差分の差法により比較することにより、学校運営を改善した上での教授法コンポーネントの効果を推定することができます。インパクト評価の結果、教授法コンポーネントは子どもの読みを改善したものの、単語レベルから短文レベルの読みへの学習改善に課題のあることが確認されました（Maruyama & Igei 2023a ）。インパクト評価結果をふまえ、教材の不足など、想定されうる要因をもとに、他県への普及において対応策が講じられました。

続く2021-2022学校年度にはAM県側で教授法コンポーネント（数と計算）、HM県側では教授法コンポーネント（読み書き）の普及が行われました。AM県側では、教授法コンポーネント（数と計算）の普及により子どもの算数学習への効果はあったのでしょうか。また、AM県側では、教授法コンポーネント（読み書き）の実施から1年経った後も、子どもの読みへの効果は持続したのでしょうか。さらに、HM県側では、教授法コンポーネント（読み書き）により、子どもたちの読みの学習改善は図られたのでしょうか。これらの問いに答えるため、3件目のインパクト評価が実施されました。3件目のインパクト評価は、2件目で対象とした計130校の初等3年生（2020-2021学校年度時点）を追跡調査し、差分の差法により行われました。その結果、AM県側では、教授法コンポーネント（計算）による効果、教授法コンポーネント（読み書き）の効果の持続が確認されるとともに、HM県側では読みの改善が確認されました（Maruyama & Igei 2023b ）。

インパクト評価の結果は、マダガスカル教育省やJICA関係者に対し、フィードバックされ、マダガスカルにおけるPMAQ-TaRLの普及を支えてきました。また、研究面では学術論文（Maruyama & Igei 2023a ; 2023b ; forthcoming ）が公開されてきており、それら実務・研究面の成果の他ドナーなどへの発信により、JICA、みんなの学校プロジェクトの国際的認知は広がってきています。

インパクト評価の実施や実務におけるエビデンスの活用に向け、マダガスカルでのインパクト評価から、どのような教訓が得られるでしょうか。主に実務面の視点に重きを置いて次の3点を挙げたいと思います。

まず、マダガスカルの事例では、実務面で戦略上、重要な課題・問い（ラーニングアジェンダ）に関し、インパクト評価が計画・実施されたことが挙げられます。インパクト評価は、専門的な知識が求められますので、問い（アジェンダ）や評価デザインが研究者寄りになる傾向がありますが（Shah et al. 2015）、インパクト評価を通じて明らかにすべき、実務面での戦略上、重要な問いを、普段の実務と研究間の対話を通じて定めることは重要です。

次に、評価結果のタイムリーな共有・フィードバックが挙げられます。インパクト評価結果の実務面での活用を図るには、実務サイドの方針決定・イベント（プロジェクトの合同調整委員会など）などのタイミングにあわせた共有・フィードバックが重要です。実務サイドは定められたスケジュールで活動・予算の計画を策定していますので、どれほど質の高いインパクト評価であっても、共有・フィードバックの時機を逸してしまっては実務の意思決定における活用は十分に図られません。公の場でのフィードバックに限らず、インパクト評価の暫定結果を共有し、実務・研究間でさまざまな議論をすることは双方に気づきを生みます。

第三に、実務と研究間での上位目標の共有と、明確な役割分担やコミュニケーションが挙げられます。研究者にとって学術論文の執筆や学術誌における掲載は目標ではありますが、実務者との協働では、より上位目標の設定・共有が必要です。マダガスカルの事例では、国際的に深刻化する学習の危機への対処、読み書き・計算という子どもたちにとって重要な基礎的スキルの習得の支援という目標が実務と研究間で共有されていたものと思います。また、インパクト評価では、さまざまな事柄を実務と研究の間で迅速かつ円滑に決め、実施していく必要がありますが、明確な役割分担やコミュニケーションはその基礎と言えます。

マダガスカルにおけるインパクト評価の経緯を概観し、今後のエビデンス活用に向けての教訓を考察しました。マダガスカルにおけるインパクト評価の事例に満足することなく、今後取り組むべき課題・問いは何か、さらに良い取り組みとするためにはどのような工夫を講じるべきかなど、検討と取り組みを続けていくことが、JICA、みんなの学校プロジェクトには期待されているものと思います。

Kozuka, Eiji. 2023. “Enlightening communities and parents for improving student learning: Evidence from Niger.” Economics of Education Review, Vol. 94: 102396.
https://doi.org/10.1016/j.econedurev.2023.102396

Maruyama, Takao and Kengo Igei. 2023a. "Scaling up Interventions to Improve Basic Reading: Evidence from Madagascar after the COVID-19 Pandemic Shock on Education." JICA Ogata Research Institute Discussion Paper, No. 4.
https://www.jica.go.jp/jica-ri/ja/publication/discussion/dp_04.html

Maruyama, Takao and Kengo Igei. 2023b. "Developing Collective Impact to Improve Foundational Learning: Evidence from Madagascar After the COVID-19 Pandemic Shock." JICA Ogata Research Institute Discussion Paper, No. 15.
https://www.jica.go.jp/jica_ri/publication/discussion/1517363_24127.html

Maruyama, Takao and Kengo Igei. Forthcoming. "Community-wide Support for Primary Students to Improve Foundational Literacy and Numeracy: Empirical Evidence from Madagascar." Economic Development and Cultural Change.
https://doi.org/10.1086/726178

Sawada, Yasuyuki, Takeshi Aida, Andrew S. Griffen, Eiji Kozuka, Haruko Noguchi, and Yasuyuki Todo. 2022. “Democratic institutions and social capital: Experimental evidence on school-based management from a developing country.” Journal of Economic Behavior & Organization, Vol. 198: 267-279.
https://doi.org/10.1016/j.jebo.2022.03.021

原雅裕（2011）『西アフリカの教育を変えた日本発の技術協力』ダイアモンド社. （JICAプロジェクトヒストリーシリーズ）
https://www.jica.go.jp/jica_ri/publication/projecthistory/20110401_01.html

独立行政法人国際協力機構（JICA）. 2019. 『JICAみんなの学校の歩み(2004-2016)ニュースレター月報集』
https://openjicareport.jica.go.jp/246/246/246_523_1000040612.html

※本稿は著者個人の見解を表したもので、JICA、またはJICA緒方研究所の見解を示すものではありません。

■コラム著者プロフィール
丸山隆央（まるやま　たかお）
JICA緒方貞子平和開発研究所主任研究員。2002年にJICAに入構し、アフリカ部、セネガル事務所、人間開発部などを経て、2022年より現職。