【丸山隆央主任研究員コラム】エビデンスを用いた事業の効果向上とスケールアップ～インドNGO「Pratham」から学ぶ～

JICA緒方貞子平和開発研究所には多様なバックグラウンドを持った研究員や職員が所属し、さまざまなステークホルダーやパートナーと連携して研究を進めています。そこで得られた新たな視点や見解を、コラムシリーズとして随時発信していきます。今回は、インパクト評価やそこから得られたエビデンスを開発援助機関がどう実務に生かしていけるか、先進的な例としてインドのNGOを取り上げながら、丸山隆央主任研究員が以下のコラムを執筆しました。

国際開発援助では、2000年代にランダム化比較試験（RCT：Randomized Controlled Trial）などのインパクト評価による介入効果の検証が広がり始め、現在に至る過程でインパクト評価は一般的なものとなりました。低所得国や低中所得国におけるインパクト評価の論文の公刊件数は、2000～2004年の間の257件から2010～2015年の間には1,678件と約6.5倍となりました（Sabet & Brown 2018）。さらに、その後もさまざまな分野で低所得国および低中所得国にかかるエビデンスは増加し、2016～2020年の間に公刊された論文の件数は3,269件と、その前の5年間に比べて倍増しました（3ie 2023）。国際開発分野では今や数多くのエビデンスがあります。

では、開発援助機関はインパクト評価や評価から得られるエビデンスを実務で活用できているのでしょうか。学術誌などで公刊されるインパクト評価の論文の記載は高度で洗練されており、必ずしも開発援助機関の職員にとって読みやすいとは言えません。また、分野・課題ごとにエビデンスを分かりやすく総括したシステマティック・レビューがまとめられていますが、実務にそのまま適用するには記述の具体性がとぼしく、参考程度にとどまるのが実態でしょう。

教育開発分野において2000年代前半からインパクト評価を先進的に導入し、エビデンスをもとに事業の効果向上とスケールアップを図ってきた組織として、インドのPratham というNGOがあります。Prathamは1990年代半ばに大学教員2人によりムンバイで設立され、現在スタッフが約6,000人を越える組織へと成長しました。Prathamはインド国内のさまざまな州で事業を展開しており、2018年にはインド21州において子どもの読み書き改善のプログラムを実施し、裨益した子どもの数は約2,100万人と推計されます（Pratham Education Foundation 2019）。

Prathamは、事業戦略において鍵となるラーニングアジェンダを特定し、そのアジェンダを明らかにするためにインパクト評価を活用してきました。ラーニングアジェンダとは、組織の活動に直結した問いであり、その問いを明らかにすることで、組織の活動をより効果・効率的にするものです（USAID 2021）。例えば、2000年代半ばにPrathamはムンバイなどの都市から村落への事業展開を本格的に図る過程にありました。ムンバイなどにおいてPrathamは子どもたちの読み書き・計算の改善のためのプログラムを実施していましたが、都市に比べ環境が整っていない村落において、Prathamのスタッフではなく村落のボランティアによって、子どもたちの読み書き・計算の改善を図ることはできるのでしょうか。この問い（ラーニングアジェンダ）に対し、Prathamは研究者との協議を通じて村落ボランティア活用の方策を考案し、RCTを通じてその効果を検証しました（Banerjee et al. 2010）。RCTから得られたエビデンスは、Prathamの事業資金の獲得を後押しし、村落ボランティアを通じたプログラムのスケールアップがインドの村落部で広範に展開されました（Dutt et al. 2016）。

続いて、Prathamは州政府との連携のもとで公立学校におけるプログラムの展開を本格的に広げていきます。どのようにすれば、Prathamの開発した読み書き・計算のプログラムは、公立小学校の教員により実践されるのでしょうか。この問い（ラーニングアジェンダ）に答えるべく、Prathamの開発した読み書き・計算の教材配布、教員研修、ボランティアによる支援といった異なる方策を組み合わせ、その効果がRCTにより検証されました（Banerjee et al. 2016）。

RCTの結果、教材配布、教員研修、ボランティアやその組み合わせのいずれも教員の実践を変えるには至らないことが分かりました。なぜ教員は実践を変えなかったのでしょうか。RCTとは別に行われた教員へのインタビュー調査において、教員はPrathamのプログラムを評価する一方でカリキュラムを終えることに精一杯であり、Prathamのプログラムを行う時間がないと感じていることが確認されました（Banerji 2019、Duflo 2020）。この点をもとに、Prathamは州政府との協議を通じ、プログラム実施のための時間枠の確保と、州政府のマスタートレーナーの育成や同トレーナーをもとにした事業の展開を考案しました。Prathamは、同方策の効果に関し、改めてRCTを実施して検証し、エビデンスをもとに州政府とのパートナーシップのもとで事業のスケールアップを図っていきます（Banerji 2019）。

図2は、Prathamによるエビデンス活用の流れを示したものです（Maruyama 2023）。図2の右側は、Prathamによるプログラムの事業サイクルです。Pratham自らが行う直接型の事業と、州政府とのパートナーシップによる間接型の事業がありますが、両タイプの事業を通じて子どもたちの読み書き・計算等のデータが収集されます。また、図2の左側は、調査・研究サイクルを指します。Prathamは、研究者とのパートナーシップによるインパクト評価などの研究の他、インド全州の子どもの読み書き・計算の状況に関し、さまざまな機関とのパートナーシップやボランティアの協力を得て定期的に調査を行い、その結果を公開しています（ASER Centre 2015）。Prathamは、調査により課題（子どもたちの読み書き・計算の状況）を把握し、事業を通じて得られたデータをもとに、その課題解決の方策を探ります。また、自らの戦略に照らしてラーニングアジェンダを特定した上で、インパクト評価（研究）により方策の効果検証を行い、その結果を事業にフィードバックしてきています。

さらに、Prathamは、事業や調査・研究を通じて得られたデータやエビデンスを、広く人々に伝えることを通じ、資金面のサポートや州政府とのパートナーシップを拡大してきています。図3は、図2をもとに、さまざまなアクターへのデータやエビデンスのコミュニケーションのサイクルを接続したものです。調査から明らかとなるインド全州における子どもの読み書き・計算の状態は課題の重要性を人々に喚起し、事業とインパクト評価（研究）を通じて確立された方策は、提示された課題を解決するために取り得る手段を提示します。Prathamは、事業のサイクル、調査・研究のサイクルを関連付け、それらのサイクルから得られるデータやエビデンスをさまざまなアクターにコミュニケーションすることで、事業や調査・研究のサイクルへのサポートやパートナーを拡大し、事業のスケールアップを図ってきました。

本コラムでご紹介しました、Prathamのエビデンスを用いた「サーチ・学習・コミュニケーションサイクル」は、開発援助機関によるエビデンス活用の一つのあり方を示唆すると思われます。Prathamのエビデンス活用について、より詳しくお知りになられたい方は、参考文献に挙げましたMaruyama (2023) などをぜひご覧ください。

では、「サーチ・学習・コミュニケーションサイクル」は、JICAのエビデンス活用でも見られるのでしょうか。次回は、エルサルバドルでのJICAの教育開発事業におけるエビデンス活用について概観したいと思います。

注. Prathamのエビデンス活用にかかる研究は、JSPS科研基盤（C）JP20K02559の支援をうけて実施しているものです。

ASER Centre. 2015. ASER Assessment and Survey Framework. Retrieved from http://img.asercentre.org/docs/Bottom%20Panel/Key%20Docs/aserassessmentframeworkdocument.pdf .

Banerjee, Abhijit, Rukmini Banerji, Esther Duflo, Rachel Glennerster and Stuti Khemani. 2010. “Pitfalls of Participatory Program: Evidence from a Randomized Evaluation in Education in India.” American Economic Journal: Economic Policy, 2:1: 1-30.

Banerjee, Abhijit, Rukmini Banerji, James Berry, Esther Duflo, Harini Kannan, Shobini Mukerji, Marc Shotland, and Michael Walton. 2016. “Mainstreaming an Effective Intervention: Evidence from Randomized Evaluations of "Teaching at the Right Level" in India.” NBER Working Paper, No. 22746.

Banerji, Rukmini. 2019. “Banerjee and Duflo’s journey with Pratham.” Ideas for India, Nov. 13, 2019.

Duflo, Esther. 2020. “Field Experiments and the Practice of Policy.” American Economic Review, 110 (7): 1952-1973.

Dutt, Shushmita Chatterji, Christina Kwauk, and Jenny Perlman Robinson. 2016. Pratham’s Read India Program: Taking small steps toward learning at scale. Center for Universal Education.

International Initiative for Impact Evaluations (3ie). 2023. Development Evidence Portal. https://developmentevidence.3ieimpact.org/

Kaufman, Julia, Amanda Glassman, Ruth Levine, and Janeen Madan Keller. 2022. Breakthrough to Policy use: Reinvigorating Impact Evaluation for Global Development. Center for Global Development.

Maruyama, Takao. 2023. “Using Evidence to Improve and Scale up Development Program in Education: A Case Study from India” World Development Perspectives, Vol. 32: 100542. https://doi.org/10.1016/j.wdp.2023.100542.

Pratham Education Foundation 2019. Annual reports 2018-19. Pratham Education Foundation.

Sabet, Shayda Mae and Annette N. Brown. 2018. “Is impact evaluation still on the rise? The new trends in 2010–2015.” Journal of Development Effectiveness, 10:3: 291-304.

USAID 2021. “Learning Lab: CLA Toolkit.”
Retrieved from https://usaidlearninglab.org/qrg/learning-agenda .

※本稿は著者個人の見解を表したもので、JICA、またはJICA緒方研究所の見解を示すものではありません。

■コラム著者プロフィール
丸山隆央（まるやま　たかお）
JICA緒方貞子平和開発研究所主任研究員。2002年にJICAに入構し、アフリカ部、セネガル事務所、人間開発部などを経て、2022年より現職。