事業評価外部有識者委員会（2018年1月）の概要

1.日時

2018年1月26日（金）14時00分から16時10分

2.場所

独立行政法人国際協力機構（JICA）本部　会議室

3.出席者

高橋委員長、朽木委員長代理、黒崎委員、近藤委員、高梨委員、中田委員、野坂委員、堀内委員、本間委員、山谷委員
（JICA）加藤正明理事、評価部長他関係部

4.議事概要

今次会合では、事業評価年次報告書2017原稿を基に、2017年度の事後評価結果と分析、JICAの事業評価全般について議論し、意見・助言を得た。主な意見や助言は、以下の通り。

JICAの事業評価全般

JICAの事業評価は効果まで適切に調査して公表している点など日本国内では先進的と言えるが、国内外の様々な批判に応えていくためにも、JICAの事業評価のポリシーを明確にすべき。評価ポリシーの明確化には、国際潮流やグローバルな基準を安易に取り入れるのではなく、過去の日本のODA関連の評価の歴史・経緯をまとめて組織として蓄積、活用していくべき。現在のJICA事業評価に携わる人員と予算が限られる中、評価自体の選択と集中も必要。
JICAは厳しい環境下で、分野や手法においてイノベーションが求められている。JICAの事業評価も、従来のDAC評価5項目の観点からの評価だけではなく、プロジェクトの過程を測っていく難しい課題に取り組んでいると理解。新しい課題に取り組む場合、DAC評価5項目だけでは測れないところもあることを認識し、DAC評価5項目とは別の評価の観点を設定して試行するなど、チャレンジングな事業の評価への取り組みも進めるべき。
援助は、単体のプロジェクトの評価では捉えきれないところが、当然にある。援助の効果を上げるために無償と技協、有償と技協など複数の事業につき一体的な案件形成を行い、共通の事業目標を具体的に設定することで、横断的な評価が可能になる仕掛けを検討していくべき。
カンボジア法制度整備支援プロジェクトの事例で紹介があったが、かつて日本が支援した30代、40代だった若手が現在のカンボジアの中心になってきている。事業評価に関しても、JICA内部の人材の教育、将来JICAの事業評価を担っていく人材、また在外現地スタッフで評価を担う人材の育成はJICA事業評価を充実させるのに重要、更なる努力に期待する。
事業評価とは異なるが、JICAの新ビジョン「信頼で世界をつなぐ」の、「信頼」はどういう指標で測るのか、信頼が高まる仮説は何か、どのように計量するのか、考えてみてはどうか。世界銀行はガバナンス指標など様々な社会指標を数値化する試みをしている。JICAにおいても、新ビジョンを計測するような、信頼を代理するような社会指標を作り、組織目標を計測する方向性の検討も有用と考える。

評価手法・制度の改善

長期間にわたるプロジェクトでは、社会全体に影響を与えているというのをどのように評価するかは非常に難しく、客観的な数字や年次報告書に表れにくい。データの収集自体を事業のコンポーネントとした事業において、モニタリングするためのデータ分析が可能となった点は非常に重要。プロジェクトの初期から、プロジェクト活動の一環としてアンケートを取るなどしてデータを収集、蓄積していかないと、プロジェクトの効果を実証し、評価するのが非常に難しい。効果の測定にはどのようなアンケートが有用か等その分野の専門家の関与も必要。評価の段階でその点を掘り下げ、数量化しにくい分野のプロジェクトについて、何をもって評価するのか、指標とするのか、など次の案件に向けて検討すべき。
指標の定量化は大切だが、定性的な分析が積み重ならないと、定量的な指標だけでは適切な評価にならない場合もあるので、バランスが重要と考える。プロセス分析も含めた定性評価の積み重ねときちんとした定量評価のバランスがとれてこそ、有効な評価となる。
定量的なものは、きちんとした方法で数値化しないと有用な結果が得られない。事業評価年次報告書「回帰分析」については、専門的な観点から議論したい。
事業評価年次報告書「評価レーティング結果一覧」の「効率性」について、ほとんどが中程度となっているが、「効率性」の項目で特にこのような結果が出ていることを考えると、そもそもの設定に無理があるのではないか。最初の計画段階で、事業の遅れや予算の増加などを想定して計画すべき。
評価5項目の「効率性」については、事前協議の段階できちんと相手国側の実施能力を確認し、また相手国財政当局も巻き込みながら先方政府負担の確実な実施を進めるべき。評価5項目の「妥当性」については、相手国のニーズや日本側のニーズだけではなく、相手国の負担能力などもきちんと踏まえたうえで、1）相手国がすべきこと、2）国際社会・他ドナーが支援すべきこと、3）日本がすべきこと、の全体像を明らかにし、その介入を実施することが、そもそも妥当なのかどうかという分析が重要。
内部事後評価では、JICA職員と現地スタッフの人材育成が強調されているが、あくまで評価は事業評価のために実施するものなので、評価のクオリティが保たれているのか確認する必要がある。この意味では内部事後評価の第三者クオリティチェックは非常に有効。予算も限られていることから、今後内部評価の質をあげ、外部と共有してもらいたい。
JICAの外部事後評価の総合評価を算出する仕組みであるレーティングフローチャートでは、評価5項目に相対的な重要度を付している点、すなわち妥当性、有効性・インパクトが、効率性、持続性と比較して格が上になっている点が特徴的。導入の経緯やフローチャートの考え方などを記録しておくと有用。

説明責任と評価結果の活用と学び

事業評価年次報告書でPDCAが紹介されており、その中で「フィードバック～アクション」として、類似の事業を計画・実施に反映、と説明しているが、教訓が具体的に反映された例があまり掲載されていないのではないか。簡潔なものでよいので具体的に反映された事例が掲載されていれば、「評価結果や教訓が反映された／、事業はよくなっている／、新規案件形成に活かされた」ということで、PDCAが機能しているというメカニズムが分かるようになる。事業全体の学びのサイクルが活かされていることがわかるとよい。
JICAは、過去の教訓等を一連の関連事業に活用し反映していると理解。例えば、カンボジア、ケニアの事例など長い期間でPDCAが繰り返され、自己分析されている。これらが、一般国民など外部の方にも理解が得られるよう、事後評価結果や教訓がその後の案件形成や事業実施に具体的に活かされていることを示し、PDCAサイクルが回っていることを一層わかりやすく説明し、積極的に発信していく必要がある。
総合評価D案件については、その教訓をしっかりフィードバックしていくべきであり、具体的なD案件の対応や横断的課題への対応について、事業評価年次報告書などでもっと説明すべき。成功した案件の分析よりも失敗した案件を分析しその教訓を次に活かすことが、現場の開発コンサルタントにとって必要。
政府の経協インフラ戦略会議でも、過去の教訓をしっかり見るべきという指摘もある。教訓を得てそれを活かすには、評価の実績を積み上げることが必要だが、新しいスキームも多く、各種施策に関して各プロジェクトの成功、失敗の要因分析について、引き続き情報発信をお願いしたい。
世界は今、「持続可能な開発目標」（SDGs）の時代に入って、取り組みや支援がどういう成果があって、どれぐらいのインパクトがあるのかを評価し、どの分野を選択し、どれぐらいの効果が期待されるのか、ということを分析して取り組んでいく時代。今年度の事業評価年次報告書の統計分析の中のレーティング分布は、JICAの得意分野、得意地域が一目瞭然でわかりやすく、我が国日本のODAのプライオリティと合致しているのかどうかという分析も可能になる。またこれを参考に他機関の支援とどうリンクさせていくか、など分析することも可能となる。

（補足）事業評価年次報告書2017は、2018年4月以降JICAウェブサイトで公開予定です。

以上