タグ別アーカイブ: 評価

ICT4Dプロジェクトの評価について

先日、とあるコンサルタントの方とお話ししていたら、評価の仕事よりも技術協力の仕事の方が好きだと言っていました。途上国の特定の相手、もしくは大多数に対して何かの技術を教えることは、「途上国のためになる仕事をしている感」をダイレクトに感じられるが、評価は比較すると、そういった感じを受けにくい仕事だある、と。なるほどなぁと感じながら、ICT4Dプロジェクトの評価について調べてみた。

開発援助プロジェクトは最後に評価を行うのが常。プロジェクトの成果をきちんと把握したり、後に同様のプロジェクトを実施する際に有益となる教訓を導き出すことが評価の意味と考えられる。

ICT4Dプロジェクトの評価方法について考えるうえで非常に参考になるのが、“Compendium on Impact Assessment of ICT-for-Development Projects”というpaper。IDRCがスポンサーになってManchester Universityが実施したもの。2009年とちょっと古いけれど、ICT4Dプロジェクトの評価に使えるフレームワーク・手法として以下12種類に言及している。それぞれの特徴、短所、長所、どういったタイプのICT4Dプロジェクトに向くか(例えば、テレセンターの経済的な持続継続性を図るにはCBAが良いなど)、実施時の留意事項など、端的にまとめられていてわかりやすい。

1. Cost-Benefit Analysis (CBA)
2. Project Goals
3. Communications-for-Development
4. Capabilities (Sen) Framework
5. Livelihoods Framework
6. Information Economics
7. Information Needs/Mapping
8. Cultural-Institutional Framework
9a. Enterprise (Variables)
9b. Enterprise (Relations)
9c. Enterprise (Value Chain)
10. Gender
11. Telecentres

これについては、HeeksのICT4Dブログでも当時取上げられており、他の研究者からもコメントで参考になる文献などが紹介されています。

これに目を通して見て思うのは、結局、評価はその目的、評価結果を誰に見せるか、によって採用するべき手法や実施タイミグが大きく異なるということ。本当に意味のある評価結果を求める場合、なんにでも適用出来る評価方法はないのかもしれない。基本的にプロジェクトの最終的なインパクトに重きを置けば、調査すべき事項は膨れ、あくまでもプロジェクトが達成する限定的な成果やプロセスにフォーカスすれば、調査すべき事項は絞られる。

例えば、テレセンターで農業情報を提供することで、農作物の収穫UP、収入UPを目的とするICT4Dプロジェクトの場合、農民がインターネットの使い方をマスターして天気予報や農業専門家のアドバイス基づいて作物を育て、市場情報に基づき仲買人と交渉することが出来るようになったとしても、それがイコール収入UPにはならないケースもあろう(作りすぎてしまい逆に単価が落ちてしまうとか、国際的な市場価格に左右されるなど)。この場合、インパクトに重きを置けば、過剰生産に対する計画がなかったとか、国際市場価格のウオッチングが欠如してた、の理由でプロジェクトは失敗だということになる。一方、農民がインターネットが使えるようになったとか、仲買人とも交渉できるようになったという成果とそこに至るプロセスに重きをおけば、プロジェクトは成功とも言える。

ICT4Dプロジェクトというカテゴリーで考えると、よりICTに近いとことろに絞り込んで(例えば、農民がインターネットを使えるようになったか否か)評価するほうがやりやすいが、本当の目的は農民の収入UPである。しかし、その目的達成にはICT以外の多くの要素が絡んでおり、評価にもより時間とコストを要する。

言い換えれば、ICT4Dプロジェクトにおいてツールとして活用されているICTにフォーカスするか、4Dにフォーカスするかというのが議論になるところ。さらに、終了したプロジェクトに対してどこまで時間とコストをかけるのかという点も考慮しないといけない。

利益追求の事業ならば、黒字化したか、いくら儲かったか、という明確な指標があるが、開発援助プロジェクト全般、とりわけICTをツールとして活用するICT4Dプロジェクトについては、(評価の必要性には疑いはないものの、)何を目的にどこまでやるか、なかなか明確な指標を設けるのは難しそうである…。

WB_banner_final

世界銀行のICT4Dプロジェクト成功率は60%

ICTworksブログに面白い記事があったのでご紹介。“A Great Success: World Bank has a 70% failure rate with ICT4D projects to increase universal access”というタイトルで、世界銀行が公表したICT4D分野支援の評価レポートについて書かれている。

世銀のICT4D分野支援は以下の4分野。

  1. ICT sector reform
  2. access to information infrastructure
  3. ICT skills development
  4. ICT applications

2003年から2010年に世界銀行がこの分野で支援したのは約42億USD。アフリカの電話通信分における最大のマルチ援助機関である(とはいえ、42億USDは、同期間の民間投資総額約4000億USDと比べると1%ちょっとに過ぎないが)。世銀の好評した評価によると、ICTセクターリフォームが一番成果を出しているものの上記4分野全体としてのプロジェクト成功率は60%とのこと。特に、貧困層の情報へのアクセス向上といった分野においての成功率は30%程度との評価結果である。

ICT4Dプロジェクトの成功率の低さは、よく課題として取りあげられてる。例えば、マンチェスター大学のHeeks教授の調査では、途上国のe-Governmentプロジェクトの成功率は以下のような数値である。

  • 35% are total failures
  • 50% are partial failures
  • 15% are successes

これまで、文献などを読む中で自分もICT4Dプロジェクトの成功率は「低い」と考えるようになっていた。しかしながら、ICTworksブログが今回指摘している点は新しい視点だった。それは、貧困層の情報へのアクセス向上を目指すプロジェクトの30%という世銀の成功率は「それなりに大したもんだ」という見方である。ICT分野において様々な面(インフラや制度など)で環境が整っていない途上国でのプロジェクト成功率が30%だとしても、それは本当に低いのだろうか?様々な面において環境が整っているシリコンバレーのベンチャー起業の成功率は20%だという。それに比べたら十分な成功率とも言えるのではないか?低い成功率だからこの分野の援助は縮小すべきだといった考えに陥るのはちょっと待った!という訳だ。

成功率100%を目指すべきであるのは当然だけれども、盲目的に成功率の低さを批判・悲観するのも不適切だと考えさせられた。しかしながら、個人資金で実施している起業と同じレベルで公金を使っている援助プロジェクトを論じることは出来ないという点は忘れてはならないだろう。失敗したら財産を失う起業家であれば、成功率が低くとも自己責任であり誰にも迷惑をかけないが(実際は迷惑がかかるが・・・)、公金を使っているプロジェクトは失敗しても誰も財産を失うリスクを背負ってないという点で、逆に民間事業よりも高い成功率が求められるからだ(とはいえ、民間事業の方が上手くいくというのが現実ですが・・・)。とはいえ、シリコンバレーとの比較は面白い視点だ。

また、こういう数字をきちんと公表した世銀の姿勢は評価に値するだろう。同じくICTworksブログに“How Do We Break Oscar Night Syndrome in ICT4D M&E?”というタイトルでICT4Dプロジェクトの評価をちゃんと実施して、失敗についても情報公開・共有できる雰囲気を作るべきといった内容が書かれているが、まさにそのとおりだと思う。

ICT4Eの評価

Educational Technology DebateというWebサイトで、ICT4E(ICT  for Education)についのディベートが行われている。最近のテーマは、ICT4Eの「評価」。色々な意見が出ているが、正確に評価することの困難さが指摘されている。主な指摘としては、以下の通り。

  • 教育におけるICT活用を含め、教育改革そのものが、詳細な調査や評価に基づいて実施されるのではなく、政治的要因によって実施される傾向がある為、そもそも正確な調査や評価が軽視される背景がある。
  • 教育の質の向上に影響する要因は多くあるので、どこまでがICT活用の効果なのか測定が極めて難しい。
  • 評価のための方法論やツールはあっても、どれも完璧ではないし、また完全に使いこなすことは困難。
  • ICTを活用した場合の効果と、同等のコストで他の手段(教室増設や教員のトレーニング実施など)を利用した場合の効果の比較が困難(=費用対効果の妥当性を明確に出来ない)

上記のように色々と問題点が指摘されており、だからこそ、「正しい評価方法・評価指標が必要」との声が強い。
ちょっと違う角度で、自分が興味をもった意見としては、「教育の成果を測るときに何を目的をするべきか?」という意見。テストの点数が上がっても、そもそも教えていること(=テストの内容)が使い物にならない知識ならば、それは教育の成果が上がったとは言えない。例えば、今やITスキルやネットでの情報検索スキルはこれから社会に出て行こうとする若者にとって非常に重要。でも、学校で教えていることが未だにタイピングであったなら、タイピングのスキルを測るテストの平均点が上がったからといって、教育の質が向上しているとは言えない。

ICTを教育現場に導入するときにも、ICTを導入する目的を明確にして、その目的に沿った評価が必要だ。ICTの及ぼす効果は広範囲にわたるので、恣意的に判断すると、なんでもかんでもICT導入のお陰となってしまう可能性もある。Educational Technology Debateに紹介されていた図(下の図)は、ICT導入の目的や次なるステージをどこに据えるかなどを明確にするためのツールであり、わかりやすいと感じた。この図は、GeSCIというICT4E分野で途上国政府の支援をしている組織が作成・紹介している。

ITプロジェクトでも、開発プロジェクトでも、大体どんなものでも、正確な評価というのはかなり難しいものだと思う。しかしながら、何かにお金をかけるためには調査や評価が必要で、それなしでは予算が取れない。「評価結果によると・・・」という裏づけは、ICT4Eを推進したい派にとっても、反対派にとっても強力な武器となる。それだけに重要なものだが、本当に正確な評価指標が出来る日は来るのだろうか・・・。