J-PAL ― IPA(Innovations for Poverty Action) Executive Program

출장 복명서

Ⅰ		출장개요

1. 목적 및 배경

□ 개발협력 프로그램의 성과 및 영향평가 연구를 통한 성과지향적 개발원조체계 구축에 기여하고자 2011년 설치된 성과평가팀(Impact Evaluation Lab)은 초기부터 영향평가연구 관련 해외기관과의 협력 확대를 지속적으로 도모해왔음

o 여러 협력가능기관 중 세계은행과는 아시아지역 성과평가 워크숍을 다년간 공동개최했을 뿐 아니라, 필리핀 및 중국에서의 프로그램 영향평가 연구주제를 신규발굴하고 공동연구진으로 참여하는 등 다양한 활동을 수행 중

* 참고 : 세계은행과의 협력사업 현황

- 2011년~2014년: 세계은행-KDI대학원 동아시아 지역 영향평가 워크숍 공동 개최

- 2011년~현재: 필리핀 1차 의료서비스 개선 사업 영향평가 연구 공동 수행 중

- 2013년~현재: 필리핀 직업기술훈련 프로그램 영향평가 연구 공동수행 중

- 중국 영유아발달 프로그램 영향평가 연구를 위해 세계은행 전문가와 함께 전략적영향평가연구기금(SIEF:Strategic Impact Evaluation Fund) funding 신청, 1차 연구비 지원 대상으로 선정되었으며 최종발표 수신 대기중

□ 다년간의 사업 및 연구진행 현황을 볼 때, 세계은행 외 영향평가 연구를 선도하고 있는 기관과의 적극적 파트너십 구축을 통해 세계 수준의 전문가 그룹과 기관 간 공식적인 네트워크를 구축하고 이를 통해 보다 다양한 공동 연구를 수행할 필요성 증대

o 영향평가 연구 관련 추가 협력기관(안)

- 3ie(International Initiative for Impact Evaluation)

- J-PAL(Abdul Latif Jameel Poverty Action Lab)

- IPA(Innovations for Poverty Action)*

* IPA의 경우 성과평가팀 사업이 집중되어 있는 필리핀에 현지지부가 있음

□ 이에 J-PAL과 IPA가 공동으로 주관하여 필리핀 마닐라에서 개최되는 Executive Program에 참여, 필리핀 내 사업수행을 위한 전문가그룹과의 네트워킹을 도모하고 2016년 Development Lab 연구사업 수행을 위한 기관 간 협력방안을 협의하고자 함

2. 일    정 : 2015. 11. 22(일) ~ 11. 28(토) ※ 출·입국일 포함 7일간

3. 출 장 지 : 필리핀 마닐라

4. 출 장 자 : 정영주 성과평가팀 선임전문원

5. 주요면담자 :

성 명	소 속	직 위
Nassreena Sampaco-Baddiri	IPA(Innovations for Poverty Action)	Country Director
Hector Salazar Salame	J-PAL Southeast Asia	Executive Director
Lina Marliani	J-PAL Southeast Asia	Research Director
Peter Srouji	IPA(Innovations for Poverty Action)	Research Coordinator

II		세부일정

날짜	시간	주요일정	비고
11.22(일)	20:05	인천 출발	KE623
	23:00	마닐라 도착
11.23(월)	08:30~18:00	⦁등록, 개회식, Program 1일차 참석 - Group work 참여, 공식만찬 참석
11.24(화)	9:00~18:00	⦁Program 2일차 참석 - J-PAL관계자와의 업무협의 미팅
11.25(수)	9:00~18:00	⦁Program 3일차 참석 - IPA 관계자와의 업무협의 미팅
11.26(목)	9:00~18:00	⦁Program 4일차 참석
11.27(금)	9:00~18:00	⦁폐회식, Program 5일차 참석 - Group presentation 발표 등
11.28(토)	12:30	마닐라 출발	KE622
	17:20	인천 도착

III		회의 주요내용

□ 1일차 프로그램 주요내용

o Presentation 1: What is Evaluation

- 주제발표는 영향평가(impact evaluation)란 무엇이며, 실시 이유와 시행 방법에 대한 개괄적 설명을 목적으로 함. 영향평가는 사업 평가(program evaluation), 모니터링과 평가(monitoring and evaluation, M&E)과는 상이한 개념이며, 영향평가를 실시하는 이유는 프로그램 혹은 해당 사업의 효과성을 제대로 판단하기 위해서임. 또한 영향평가를 통해 프로그램과 정책의 유효성과 영향을 증명하기 위해 목표로 설정한 결과를 달성하고 있는지에 대한 객관적 증거를 얻을 수 있음(add to our body of evidence).

- 일반적으로 개발원조사업에 대한 평가는 아래와 같이 크게 5개의 구성요소로 나누어 생각할 수 있으며, 케냐에서의 상수도원 공급사업의 사례를 예로 구성요소들의 특성을 설명함.

① Needs assessment: 문제가 될 수 있는 상황이나 실제 문제를 파악하고 문제에 대한 대안을 종합적으로 검토하는 단계

② Program theory assessment: Theory of change를 분석하고 Logframe 등의 분석 툴을 활용하여 프로그램의 시행 단계에서부터 달성하고자 하는 최종 목표 지점까지 각각의 단계를 분석/정리하는 단계

③ Process assessment: 프로젝트의 수행이 실제 목표한 것과 동일한 방법과 형태로 진행되었는지를 파악하는 단계

④ Impact evaluation: 프로그램이 제대로 효과를 발휘했는지 알 수 있는 방법을 설명. 일반적인 방법은 대상 집단의 프로그램 도입 전후의 결과를 비교하는 것이며, 신뢰할 수 있는 수준의 counterfactual을 통한 실험집단과 통제집단(비교집단) 사이의 차이에서 프로그램의 실질적 효과를 발견할 수 있음. 이때 올바른 counterfactual을 설정하기 위해서는 무작위 추출을 하는 것이 중요함. RCT는 영향평가에 있어 황금률이라고도 일컬어짐.

⑤ Cost effectiveness analysis : 제약조건이 동일한 주어진 상황에서 대안적인 방법들과의 차별성 분석

o Presentation 2: Outcomes, Indicators, and Measuring Impact

- 발표는 영향평가를 어떻게 프로그램에 적용할 수 있는지에 대한 방법론을 제시하고 측정방법에 대한 설명을 목적으로 함. 특히 영향의 측정에 있어서 빠지기 쉬운 함정에 대해 설명하고, 정확한 영향의 측정을 위한 고려사항을 소개함.

- 결과를 이끌어낸 원인을 알기 위해 프로그램의 시행 단계에서부터 달성하고자 하는 최종 목표 지점까지 각각의 단계를 살펴볼 필요가 있음을 강조. 특히, 중간 단계를 점검하는 것이 결과의 원인을 판단하는 데 중요하기 때문에 전반적인 논리의 흐름을 기술하는 ToC(Theory of Change)나 로지컬 프레임워크(Logframe)를 평가 이전에 작성해야함을 강조.

- 이 때 중요하게 고려해야하는 사항은 측정방식(measure)의 validity와 reliability의 문제임. validity가 설정한 지표와 실제 프로젝트로 인한 결과(outcome)의 연결정도를 나타내는 것이라면, reliability는 결과(outcome) 측정방식(measure)의 적합성 정도를 나타내는 것임.

- 이러한 결과의 측정은 모든 평가의 기반이 되는 기초데이터이기 때문에 정확한 결과의 측정은 곧 정확한 평가의 시작이라고 할 수 있음. 특히 설문조사 형태로 자료를 수집할 경우, 측정하기 어려운 요소를 측정해야하는 상황에 대한 사전분석이 필요하며, 이러한 분석을 바탕으로 설문항목이나 설문방식을 사전계획해야함을 강조.

(예) 설문조사를 통해 측정이 어려운 상황의 예

(1) 사람들이 잘 모르는 것에 대해 질문해야하는 경우 (Things people do not know very well)

(2) 사람들이 말하고 싶지 않은 것에 대해 질문해야하는 경우 (Things people do not want to talk about)

(3) 추상적인 개념 (Abstract concept)

(4) 즉각적으로 결과를 측정할 수 없는 경우 (Things that are not always directly observable)

(5) 직접 관찰했을 때 가장 좋은 경우 (Things that are best directly observed) : 심리적이거나 행동에 있어서의 변화

- 분석을 위한 데이터 수집방법 : 행정데이터(administrative data), 국제기구 등의 조사보고서, 설문조사 등

o Group work: Theory of Change, Research Question

※ 참고: 프로그램 중 Group work은 그룹별 각 1인의 TA(teaching assistant)가 배정되어 TA와 그룹원들이 함께 주어진 case study(일부 가상의 상황이 포함되어있음)를 분석하고 group discussion question에 대한 답을 찾는 방식으로 진행되었음

- Case study 주제: Reforming school monitoring – measuring impact of a school monitoring program (마다가스카르 교육환경개선 및 취학률제고 프로그램)

· 원문 Link: http://www.povertyactionlab.org/evaluation/primary-education-management-madagascar

- Case 내용: 마다가스카르에서는 양적인 측면에서 학교재정을 확충하고 초등교육을 받는 학생들에 대한 재정지원을 강화하는 등의 행정조치에도 불구하고 전반적인 취학률이나 교육환경에는 긍정적인 변화가 이루어지지 않았음. 이러한 상황을 타개하고자 마다가스카르 교육부에서는 하향식/상향식의 두 가지 intervention을 도입하여 프로그램의 영향을 측정하고자 함.

- 그룹활동 내용: Case에 대한 ToC(Theory of Change) 작성, 단계별 전제조건 분석, ToC에 따른 성과지표 설정

□ 2일차 프로그램 주요내용

o Presentation 3: Why Randomize?

- 현실적인 상황에서 프로그램의 영향을 측정할 때 가장 어려운 점은 단순히 프로그램 실행 전후의 변화를 비교할 경우, 비교대상이 없기 때문에 어떤 요소가 결과에 영향을 어떻게 미쳤는지를 확인하기 어렵고 다른 요소의 영향을 간과하게 됨

- RCT(Randomization Controlled Trial)란 모집단으로부터 표본을 무작위로 추출하는 것을 말함. 이렇게 무작위추출(Randomization)을 통해 만들어진 실험군과 통제군은 평균적으로 동일한 성격을 지니므로 ‘만약 실험이 잘 계획되고 수행된다면(if properly designed and conducted)’ 이 두 그룹을 비교했을 때 프로그램이 미치는 영향만을 골라낼 수 있다는 점에서 큰 장점을 가짐. 이때 중요한 것은 무작위추출을 통해 형성된 통제군에 대해 신뢰할 수 있느냐의 문제임.

- 인도의 Balsakhi 프로그램을 예로 들어 프로그램의 결과를 측정할 수 있는 다양한 방법으로 프로그램의 영향을 추정해보았음. 영향평가 방법 중 무작위 추출(randomization)법을 사용할 수 없는 경우, 차선책으로 활용되는 준 실험적 방법(quasi-experimental)에는 전후 비교(Pre-post or Before-and-After Comparison), 차이검증법(Simple Difference), 차차이검증법(Difference-in-Difference), 불연속 설계(Discontinuity Design), 짝짓기법(Matching), 회귀분석법(regression) 등이 있음.

- 그러나 RCT 방법론을 활용할 경우, 프로그램 적용 대상을 선정하는 과정에서 수혜 대상자와 비대상자를 구분하는 행위가 과연 윤리적인가에 대해 의문을 가질 수 있음. 그러나 한정된 자원으로 프로그램의 영향을 증명하기 위하여 또는 모집단 전체에 프로그램 적용이 가능하지만 모든 대상에게 프로그램이 실제로 적용되는 데 물리적 시간차가 있을 수 있음을 지적하며, 이러한 한계에 부딪혔을 때 가장 공정하게 프로그램의 영향을 측정할 수 있는 방법이 무작위추출법임을 설명.

o Presentation 4: How to Randomize – Methods for RCT

- 본 주제발표에서는 RCT가 가능한 분석단위, 제약조건에 대해 설명함. RCT에 있어 무작위추출을 하는 단위는 상황에 따라 다르게 적용할 수 있으며, 가장 정확하게 영향을 측정할 수 있는 단위는 개별 프로젝트마다 다를 수 있음. 교육 프로젝트를 예를 들자면 하나의 intervention에 대한 분석단위는 개인/반/학교/지역군 등 다양한 단위를 설정할 수 있음. 이러한 분석단위는 파급효과(spillover effect)나 오염(contamination)이 발생하지 않는 단위로 선택해야하며, 가용 데이터의 성질과 지리적 환경 등 다양한 요소를 고려해야 함.

- 가장 단순한 무작위추출 방식은 복권(lottery)임. 흔히 사용되는 복권방식을 활용한 RCT는 몇 가지 기준으로 아래와 같이 분류해볼 수 있음.

(1) Phase-in design

(2) Rotation design

(3) Randomization in the bubble

(4) Encouragement design

- 실험군과 대조군을 분류하는 것은 두 단계에 걸쳐 진행될 수 있으며 이를 ‘Two-Level Randomization’ 방식이라 부름. 모집단에서 일정 cluster 단위로 RCT를 통해 추출된 표본들을 무작위로 실험군과 대조군으로 분류함. 실험군으로 분류된 집단의 구성원들을 다시 무작위로 실험대상과 통제대상으로 분류하게 되는 두 단계의 무작위추출 과정을 거칠 수 있음.

o Group work: Case study – Vocational training, Corruption, RCT design

- Case 주제 : Vocational Training for Disadvantaged Youth (RCT를 활용한 라틴아메리카 지역 청년층 직업훈련 프로그램)

· 원문 Link: http://www.nber.org/papers/w13931

- Case 내용 : 2001년 콜롬비아 정부는 청년실업문제 해결과 저소득 청년층의 취업률 향상을 목적으로 7개 대도시를 중심으로 교실내 직업교육/OJT(on-the-job training)/자립금 지원 등으로 구성된 직업훈련 프로그램을 실시하였음. RCT를 활용하여 실제 직업훈련 프로그램의 참가자를 선발하였으며 고용가능성(employability)의 향상에 프로그램의 영향을 준 정도를 평가하고자 하였음. 본 사례연구를 통해 그룹원들은 앞선 주제발표를 통해 습득한 영향평가의 방법론(quasi-experimental design/experimental design)을 활용하여 counterfactual과 실험집단을 비교하여 영향을 측정하는 activities를 실시하였음.

□ 3일차 프로그램 주요내용

o Presentation 5: Sampling and Sample Size

- 본 주제발표는 표본 추출(Sampling)의 정의와 특성, 표본의 크기(Sample Size)의 중요성, 적절한 표본의 크기(Sample size)의 설정하는 방법에 대한 설명을 중심으로 진행됨. 표본추출(Sampling)이란 프로그램의 궁극적인 목표대상인 모집단에 대한 전수조사가 불가능할 경우, 모집단을 대표하는 더 작은 규모의 표본을 추출해 프로그램의 영향을 측정하고자 실시하는 것임. 따라서 표본 추출 시에는 전체집단 혹은 모집단의 정의가 중요하다고 할 수 있고, 표본이 모집단의 특성을 얼마나 반영하고 있는 지를 판단하는 절차가 연구의 신뢰성 확보에 필수적임.

- 이때 고려해야할 기준으로는 정확도(Accuracy)와 정밀도(Precision)가 있음. 정밀도는 표본의 수가 크면 향상될 수 있으나, 표본의 수가 일정정도 이상 확보되어 모집단을 대표할 수 있을 정도로 충분히 크다 하더라도 bias를 피하지 못하는 경우가 발생할 수 있음.

- 발표자는 통계적 분석 Tool을 활용하여 통계적 유의성(Statistical Significance) 확보의 중요성과 실험집단과 통제집단의 통계적 신뢰구간 측정 방법에 대해 설명함. 통계적 분석을 통해 기초선(baseline)과 완료선(endline)을 비교했을 때 실험군과 대조군에 어떤 차이(difference)가 있다고 하더라도 유의미한 것(significant)으로 바로 해석할 수는 없음을 강조. 발견된 차이가 정말 프로그램의 영향으로 해석할 수 있을지 여부는 가설 검정(hypothesis testing)을 통해 입증되었을 때만 가능하며, 프로그램으로 인한 차이가 유의미하지 않다는 것을 기본전제로 하여 이를 귀무가설(null hypothesis)로 설정한 뒤 가설검정을 시도할 수 있음.

- 이러한 가설검정에서는 power의 확보 여부가 통계적 유의성 시험에 반드시 필요함. power란 intervention을 통해 발생한 측정 가능한 효과가 실재한다고 할 때 (즉, 귀무가설이 거짓일 경우에) 그 효과를 우리가 측정할 수 있는(즉, 귀무가설을 부정할 수 있는) 확률을 의미함(If there is a measurable effect of our intervention, the probability that we will detect the effect.).

- 또한 서로 다른 연구에서의 효과의 크기를 비교하기 위해서는 ‘d=(effect)/(standard deviation)’를 이용해 효과(effect)를 표준편차(standard deviation)로 나눈 값인 ‘Standardized Effect(d)’를 얻어내면 됨. 이를 이용해 서로 다른 연구의 효과를 비교 가능하게 할 수 있으며 일반적으로 0.2(작음); 0.4(중간); 0.6(큼)의 수치가 효과의 정도를 비교하는 기준임.

o Group work: Random sampling and randomization mechanics, sample size estimation, power and sample size

- 그룹워크 세션에서는 앞선 강의내용을 바탕으로 실제 Data를 MS Excel로 옮긴 뒤, Excel 프로그램을 통한 무작위 추출법(RAND/STRATA 함수활용)을 실습함.

- 또한 5일차 그룹별 발표를 위한 발표주제를 선정하고 기초 문헌자료 조사, Optimal Design software를 활용한 power calculation 실습을 수행.

□ 4일차 프로그램 주요내용

o Presentation 6: Threats and analysis

- 본 주제발표에서는 영향평가를 실시할 때 고려해야하는 분석의 위험요소에 대해 설명함. 분석의 위험요소들은 아래와 같이 정리할 수 있음.

· Attrition, Spillovers, Partial compliance and sample selection bias, Intention to Treat(ITT), Treatment on Treated(TOT), Choice of outcomes, External validity, Data Quality assurance, Communication and implementation

- 그러나 발표자는 이러한 위험요소들은 비단 RCT를 활용한 연구방법론에서만 나타나는 한계점이 아니라는 것을 강조함. 또한 이러한 위험요소들은 피할 수 없는 것이 아니기 때문에 연구 전 사전타당성 조사 및 파일럿 연구를 통해 위험의 정도를 가늠해볼 수 있음.

o Group work: Case study – Deworming in Kenya

- Case 주제: Deworming in Kenya (케냐 학교 기생충 구제 프로그램 영향평가)

- 원문 Link: http://onlinelibrary.wiley.com/doi/10.1111/j.1468-0262.2004.00481.x/abstract

- 주요 활동내용 : 원 연구는 영향평가 연구로서 가장 널리 알려져 있는 연구이며, 본 case는 원문을 바탕으로 구성된 가상의 data와 기본정보를 활용하여 연구설계와 분석에 있어 빠질 수 있는 위험요소를 고려하여 intervention의 효과를 측정하는 activities를 수행

o Presentation 7: Randomized Evaluation from Start-to-Finish: Raskin Project

- 주제발표는 인도네시아의 Raskin 프로젝트를 사례로 하여 앞선 발표를 통해 설명한 영향평가 연구방법론을 활용하여 실험설계에서부터 결과 분석에 이르는 연구의 실제를 흐름에 따라 구체적으로 설명함. 연구는 크게 5가지 stage로 나누어 파악할 수 있으며 세부내용은 아래와 같음.

(1) 평가 디자인 단계 (Evaluation design) : 배경 및 관련현안 분석, 연구주제 설정, 연구방법론 확정 및 타당성 사전 검토

(2) 착수단계 (Baseline) : 기초선 분석을 위한 설문조사, 무작위추출, 표본 관리

(3) 실험단계 (Treatment) : 실험연구 실시, 표본 관리, 현지 코디네이션 및 실험연구 대상지역 관리

(4) 중간 및 최종단계 (Middle and Endline) : 최종단계 데이터 수집을 위한 설문조사

(5) 결과분석 단계

- Raskin 프로젝트는 인도네시아에서 수행된 사회보장 프로젝트 중 가장 대규모의 인구집단을 대상으로 실시된 프로그램으로 2012년 기준 인도네시아 정부의 사회복지분야 지출의 약 53%에 달하는 예산이 투입되었던 공공 프로젝트임. 프로젝트의 기본적인 틀은 빈곤층 가계를 대상으로 주식인 쌀을 지원해주는 것이었으나, 실제로는 목표집단의 약 32%만 실제로 쌀 보조를 받은 것으로 드러났음.

- 이에 동 프로젝트의 효과성 향상시켜 목표집단에 최대한의 수혜가 돌아갈 수 있는 방안을 모색하기 위한 목적으로 ‘Raskin 카드(일종의 바우쳐)’ 제도를 도입하고 Raskin 카드 사용을 intervention으로 하는 영향평가 연구를 실시하였음.

- 영향평가를 실시한 결과, 사회적인 제반여건을 함께 조성하는 것을 전제로 할 때 바우쳐 제도는 수혜집단의 사회서비스 이용률 개선에 긍정적인 영향을 줄 수 있음이 확인되었고, 중장기적으로는 바우쳐 제도 자체보다 사회적인 제반여건(‘socialization’)이 담보되었을 때에 더 큰 효과를 줄 수 있다는 정책적 제언을 도출할 수 있었음.

□ 5일차 프로그램 주요내용

o Lecture 8: Cost Effectiveness Analysis

- 본 주제발표는 비용대비 효과분석(Cost Effectiveness Analysis, CEA)에 대한 설명을 위한 세션으로 인도 Udaipur 지역 예방접종 프로젝트 영향평가 연구를 사례로 들어 영향평가 뿐 아니라 비용대비 효과분석의 실제를 설명함. CEA는 하나의 결과에 영향을 미친 비용의 정도를 측정하는 분석법으로, 비용편익분석(Cost-Benefit Analysis, CBA)과는 개념적인 차이가 존재함(CBA는 의사결정을 하는데 있어 가능한 모든 사회적 비용과 가능한 모든 사회적 편익을 따져 대안들 중 최적대안을 선정하는 기법임).

- CEA의 장점은 분석방법의 간결함과 단순성에 있음. 즉, CEA를 활용하여 분석할 경우, 편익에 대한 판단이나 화폐단위로 환산된 측정은 배제하고 일면 보다 객관적인 의미에서의 결과 측정척도를 선택할 수 있음. 예를 들어, 출석률과 관련된 교육 프로젝트를 수행한다고 할 때 학생들의 학교 출석일수를 1일 증가시키는데 드는 비용을 측정하는 것이 CEA 분석법라면, CBA는 출석일수 1일의 증가가 의미하는 금전적인 가치를 측정하는 것이라고 할 수 있음.

- 실제 연구사례로 설명한 인도 Uadipur 지역은 전체인구의 5% 정도만이 예방접종을 받는 상황이었고, 낮은 예방접종률은 서비스의 공급과 수요의 두 가지 측면 각각의 문제에서 기인하는 것으로 인식되고 있었음. 이에 주 정부의 주도로 예방접종을 받는 사람에게 1kg의 렌틸콩을 지원해주는 정책을 시행하고 총 120개의 마을을 대상으로 이를 RCT를 활용한 정책의 영향을 평가하고자 하였음.

- 문제상황에 영향을 미치는 요인이 복합적이었기 때문에, 정부는 렌틸콩 지원책 뿐 아니라 예방접종에 대한 사회적 심리적 불안요소를 해결하기 위해 지역사회 단위에 camp를 설치, 예방접종에 대한 교육을 동시에 실시하여 각 intervention에 대한 영향을 측정했음. 이때 사용된 방법이 CEA이며, CEA 분석을 통해 camp를 통한 교육의 영향과 재정지원책의 영향을 분리하여 각각의 비용대비 효과를 분석할 수 있었음.

- 이러한 CEA 분석법은 현실상황에서 정책입안자들에게 주는 효용이 있음. 특히 인도의 사례와 같이 현실에서는 하나의 상황에서 사용가능한 intervention이 다양하기 때문에 가장 적은 비용으로 가장 큰 결과를 낼 수 있는 방법에 대한 불확실성 문제를 CEA 분석을 통해 일부 해결할 수 있음.

o Group presentation : 별도 첨부 PPT 파일 참조