まず評価部の業務内容を教えてください

野田：評価部の主な業務である事後評価は、過去に実施されたプロジェクトがどのような効果を上げたかを検証し、そこから得られる学びを通して、プロジェクトのさらなる改善を図る業務です。同時に、日本のODA資金がどのように使われたのかについて、日本国民やJICAを取り巻くステークホルダーに対して説明責任を果たすという役割も持っており、開発協力の質の向上や戦略性の強化を図るための有用な手段にもなっています。また、事業評価は、支援スキームに拘わらず、プロジェクトのPDCAサイクル（Plan-Do-Check-Action）と一体不可分の関係にあり、JICA全体ではプロジェクトの事前段階から、実施中、事後の段階、フィードバックに至るまで一貫した枠組みによる評価とモニタリングが実施されています。

岩崎：事後評価をどう進めているか、概要を紹介します。対象になるのはJICAが行う技術協力、有償資金協力、無償資金協力の各事業で、協力金額が2億円以上10億円未満のものを対象にした「内部評価」と10億円以上のものを対象にした「外部評価」の2種類があります。内部評価は、プロジェクトの実施監理を担った現地のJICA在外事務所員が主な担い手となり、外部評価は、より客観性を高める観点から、外部のコンサルタント会社や研究機関などに委託します。いずれの場合も、評価の視点や手法は経済協力開発機構（OECD）の開発援助委員会（DAC）が定めている「DAC評価5項目」に沿っており、評価期間は、おおむね1年です。結果はすべてWEBサイトで公開すると同時に「事業評価年次報告書」にまとめています。

野田：その中で岩崎さんは、主に内部評価の総括担当として､評価計画や進捗管理、評価の質の向上や結果の活用方法の検討などを担当し、私は部全体の横断業務とともに、後程説明する「インパクト評価」の統括、外務省ODA評価室、世界銀行をはじめとする他ドナー機関の評価・ナレッジ部門など、評価を軸に諸大学との連携などを担当しています。

評価の手法についても、工夫が重ねられていると聞きました

岩崎：評価の歴史を振り返ってみると、評価理論が形づくられ、その重要性が注目されはじめたのは1960年代くらいで、それほど古いことではないんです。最初は、客観的で正確なデータを揃えようというところからはじまりました。しかしその後、定性的な評価を通じて、評価結果が実際に活用されることを目指す定量から定性へという流れが生まれました。最近では、定量・定性のどちらかに偏るのではなく、うまくミックスしていかなければいけない、という認識が強くなっていますね。これらの流れも踏まえ、現在、JICAにおいては定量・定性それぞれの評価を、より正確性が高く、また内容の深いものにしていこうということから、定量の視点では「インパクト評価」、定性の視点では「プロセスの分析」といったことが行われるようになってきています。「インパクト評価」は、野田さんより少し補足をお願いします。

野田：昨今、多くの援助機関、また日本国内でもさらなる事業効果の向上、事業の質の改善のため、より精緻な根拠（エビデンス）に基づく事業実施に注目し、その主要ツールとして「インパクト評価」を推進してきています。JICAでも組織全体で「インパクト評価」を推進しており、保健、教育、灌漑の分野、最近では廃棄物管理、金融サービスの分野、民間連携事業を対象とした「インパクト評価」を実施するなど、カバーする領域を拡大しています。
「インパクト評価」は、端的には開発課題の改善・解決のために行われるプロジェクト、施策、開発モデルが対象社会に引き起こした変化を精緻に検証するものです。単純に事前事後の比較では、引き起こされた変化がプロジェクトなどの実施によるものか、その他の外的な要因なども混入してしまうことで厳密には分かりません。「インパクト評価」では、実際に観察される状況（Factual）と、プロジェクトなどがなかった場合にどのような状況になっているかを仮想した反事実的状況（Counterfactual）との比較によって、プロジェクトなどによって引き起こされた変化のみを定量的かつ正確に捉えることができます。「インパクト評価」の実施には、追加的な費用や分析のための高度な専門性が求められるため、評価の目的やニーズから優先度を検討し、選択的に行う必要があります。新規性のある支援アプローチや将来的なスケールアップが見込まれるプロジェクトなどには積極的に「インパクト評価」を組み込み、その結果で得られた信頼性の高いエビデンスを新たな案件形成や相手国の政策決定などに活用して行く場面を追求しています。

岩崎：もう一方の「プロセスの分析」は、今試行中で私の担当でもあるのですが、アプローチの一つは、プロジェクトの経過をエスノグラフィー(民族誌）と呼ばれる人類学のフィールド調査の手法を取り入れて明らかにしようというものです。関係者の苦労や工夫、リーダーシップなど人が織りなすストーリーを浮き彫りにすることで、従来の評価では捉えにくい成功要因などを見ていこうというものです。

事後評価を次に活かすという意味では、
どのような活動をされているのでしょうか

岩崎：対外的にはWEBや年次報告書での公開を行っており、JICA内部向けには毎年春に「フィードバックセミナー」を開いています。私たち評価部とプロジェクトの関係部署、さらに在外事務所が参加して事後評価の内容について議論するものです。

野田：事後評価では、国際的な評価基準（妥当性、有効性、インパクト、効率性、持続性からなる「DAC評価５項目」）に基づいて、評価を行っていますが、そのうち外部評価では、総合評価としてA（非常に良い）からD（低い）まで4段階でレーティング（格付け）を行っています。Dが最も低い評価で、そのプロジェクトについては、担当部署と議論の機会を設けるようにしています。ただし、これは「責任追及」のような意味で行うのではなく、D評価といってもプロジェクトの難易度は考慮されていないので、元々実施が非常に難しいものであった可能性もあります。チャレンジはしたけれど結果が出なかったということであり、そうした条件も含めて検討していくということです。レーティングは事業等の成果を測る指標としては有用ですが、開発事業の全てを包含しているものではなく、その結果のみが過度に強調されるのは適切ではありません。

岩崎：レーティングというと、どうしても敬遠されてしまうんですよね。これは「成績表」ではなく「健康診断」ですと、評価部では説明しています。一定の項目に沿ってチェックをしてプロジェクトを診断することで傾向を把握し、それに踏まえた改善を図る、というものだからです。

野田：最近の新たな取り組みとして、分野・課題別の事後評価もありますね。

岩崎：個別のプロジェクトに関する事後評価や事業実施中に実施した評価を、例えば防災や平和構築、自然環境保全、エネルギーといった分野・課題別にまとめることで、分野・課題特有の課題が浮かび上がるのではないかと考えています。実際に実施したものに港湾分野の新港整備があります。この分野は、プロジェクトの事後評価が低くなる傾向がありましたが、実際、複数のプロジェクトを横断的に見てみると、「需要予測」「新港利用を促す関連施策」「運営管理事業の採算性の見込み」などに共通した課題がありました。今後の港湾整備プロジェクトに活かせるのではないかと思っています。

評価業務の意義をどう考えていますか

野田：評価の仕事はプロジェクトの開始から終了まで、その「一生」を見ることになります。私は1年前までケニアに駐在していましたが、現場ではプロジェクトのダイナミックな動きに関わることができても、日々の課題の解決に注力する余り、全体像を俯瞰的に見ることは難しい面があります。そもそもJICAが取り組むプロジェクトはその期間も長く、担当する職員が任期中に必ずしもプロジェクト全体に関われるわけではありません。しかし、評価業務を経験すると、冒頭でPDCAサイクルにも触れましたが、プロジェクトの全体像を長いスパンかつ広い視野を持って見ることができます。これはJICA職員として仕事をしていく上で、非常に有意義なことだと感じています。

岩崎：そうですね。プロジェクトが終了後にどうなったのか、数年後の結果を知ることができるというのは非常に勉強になりますね。もう一つ、私が評価業務で手応えを感じたのは、内部評価を担当する在外事務所のナショナルスタッフ（現地職員）の成長です。研修や評価実施中のアドバイスなどで接する機会が多いのですが「プロジェクトを実施しているときには分からなかった問題点や停滞の原因などを事後評価の過程で見つけることができた」という話を聞くことができました。また「事後評価で受けた指摘の改善のために相手国の関係者と話し合ったことで関係強化が実現した」という報告もあり、大変うれしく思いましたね。事後評価への取り組みは、事業の改善につながるだけでなく、気付きを促すことを通して人の成長に貢献することもできると感じます。

野田：一つひとつが多くの関係者やステークホルダーの想いの込められた大切なプロジェクトです。しっかりと教訓を汲み上げて、次のサイクルへとバトンを渡して行きたいですね。