事業評価外部有識者委員会(2023年2月)の概要
1.日時
2023年2月21日(火)13時00分~15時00分
2.開催方法
オンライン(Teams)開催
3.出席者
高橋委員長、源委員長代理、石本委員、今田委員、黒崎委員、功能委員、近藤委員、竹原委員、舟越委員
(JICA)宮崎理事、評価部長他
4.議事概要
今回の議題は、(1)事業評価年次報告書2022(案)、(2)開発協力事業の新たなマネジメント方式(クラスター事業戦略)の導入及び評価手法の整理・検討状況、(3)ザンビア国現職教員研修制度支援を通じたキャパシティ・ディベロップメントにかかるプロセスの分析、の3点。今次委員会での助言等を踏まえ、2022年度の事業評価年次報告書の最終化、新事業マネジメント方式における評価手法の検討、プロセスの分析の更なる活用をJICA内でそれぞれ進める。
委員からは、以下の助言・コメント等があった。
(1)事業評価年次報告書2022(案)
JICAでは事業評価にかかる取組や評価結果をわかりやすく公表するため、事業評価年次報告書を作成・発行している。事業評価年次報告書2022では、2021年度に引き続き、冒頭要約(at a Glance)を掲載して事業評価の仕組みや実績を紹介している。また、2022年度に確定した新しい評価基準に基づく事業評価結果や、横断的な評価・分析結果等を掲載。
委員コメント
- 事業評価年次報告書2022は、DACの評価基準の改定に伴い、JICAの評価基準を改定して初めて事後評価結果を報告する年次報告書である。2021年度と同様に全体を通じて良く構成されており、読みやすい。年々改善されている。
- 新しい評価基準では、SDGsの理念を反映し、「誰一人取り残さない(Leave No One Behind(以下「LNOB」という。)」、「人々の幸福(Human Well Being(以下「HWB」という。)」を評価の視点として新たに加えている。事業評価年次報告書2022では、事後評価におけるLNOBやHWBの視点に関する調査結果を報告している点が評価できる。LNOBやHWBは国内外でも注目されている。今後JICAが行う事業評価の中でも、これらは重要な要素として取り扱うべき。
- LNOBの視点について、事前・計画段階で様々な受益者のニーズ・アセスメントを適切に実施し、事業開始前の事前評価の段階で、受益者に着目し、弱者への配慮や公平性を踏まえて事業が形成されているのかを確認することが重要である。
- HWBは主観的満足度だけでなく客観的指標を用いて確認している機関もある。HWBの和訳を「人々の幸福」とするのは適切ではないと考えられる。
(2)開発協力事業の新たなマネジメント方式(クラスター事業戦略)の導入及び評価手法の整理・検討状況
前回(2022年10月)の委員会に引き続き、課題解決に向けた事業の大きなまとまりである「クラスター事業戦略」の評価手法等に関する最新の検討状況を報告。
委員コメント
- クラスター事業戦略やクラスター事業評価を今後対外的に説明する際、技術協力、有償資金協力、無償資金協力の何れがその対象として内包されているか明確に示した方が良い。
- クラスター事業戦略を用い相手国と対話することは重要。相手国のみならず他のステークホルダーとも議論し考え方を共有することで、クラスター事業戦略に対する理解及び信頼が高まる。
- クラスター及び個別事業でのモニタリングを通じ、クラスターと各国・個別事業間で実績やデータ、経験、教訓等を共有することは、個別事業の改善のみならずクラスター事業戦略の見直しにつながる。一方、従来以上に現場の役割が大きくなるのではないか。クラスター単位でのマネジメントや事業評価にどのような意義を見出すかを今後より明確にしたほうが良い。
(3)ザンビア国現職教員研修制度支援を通じたキャパシティ・ディベロップメントにかかるプロセスの分析
JICAでは、事業評価を通じて得られた学びを事業の改善につなげるLearningの観点から、事業効果(アウトカム)の実績検証に留まらず、効果発現の在り方について、事業の実施プロセスに着目して確認する「プロセスの分析」を推進し、学びの強化に取り組んでいる。今次委員会ではザンビアで実施した教育セクターの事業に関するプロセスの分析結果を紹介。
委員コメント
- プロセスの分析が個別事業のDAC新評価基準に沿った6項目の事後評価と具体的にどのように違うのかを明確にしたうえで、両者の相互補完的となる活用方法を整理した方が良い。
- 評価結果だけではなく、そこに至るプロセスを分析することは、評価においても極めて重要である。クラスター・マネジメントとの関係とも併せて整理していくべき。
- プロセスの分析は、プロセス評価(仮説検証)とは異なり、関係者に広く聞取調査を実施し、投入、活動、成果のつながりの様子をストーリーにまとめていく作業である。そのため、従来実施している個別事業の事後評価では発見しにくい知見やデータを収集できる。その観点では、Theory of Changeの考え方にも活用でき、JICAの事業評価の質と量の向上に向け、様々な活用の可能性があるのではないか。
- プロセスの分析では、評価者が誰で、どのような立場で評価するのかという観点が重要である。エスノグラフィー的な手法を用いる場合、現場に一定期間滞在し、個別事業に寄り添う形で確認・分析を実施するので、発展型(伴走型)評価にも繋がる。
(4)委員長まとめ
- LNOBやHWBといった重要な概念が出てくる中で、個別事業ごとの評価を実施するのみでは事業評価として不十分である。今後は様々なステークホルダーを巻き込んだマネジメントと、それに対応する包括的な評価・分析が必要である。
- プロセスの分析は評価ではないといった議論もあり、何をもって評価と考えるのかという根源的な問いも出てくる。JICAとして、広がりつつある「評価の領分」に適切に対応するために、評価部は事業評価を実施するだけでなく、事業を継続的に分析し、改善を導いていくべき。
以上