필리핀 1차 의료서비스 영향평가연구 / 기술직업교육훈련 프로그램 영향평가 연구

연구진 미팅 / 현지조사 출장

출 장 복 명 서

Ⅰ		출장개요

1. 목적 및 배경

□ 성과평가팀은 세계은행과 공동으로 필리핀 지역을 대상으로 총 2개의 영향평가연구 사업을 수행 중

o 필리핀 1차 의료서비스 영향평가연구 (I3QUiP: Impact of Incentives and Information on Quality and Utilization of Primary Care in Philippines)

o 필리핀 기술직업교육훈련(TVET) 프로그램 영향평가 연구

□ 본 출장을 통해 각각의 연구를 위한 연구진 미팅 및 현지조사를 아래와 같이 실시하였음

o I3QUiP 연구의 경우, 전체연구진(세계은행, 필리핀 건강보험청, KDI대학원)* 미팅을 실시하여 기초선조사(baseline survey)의 결과를 공유하고 2016.3월부터 실시할 인터벤션(intervention)의 세부사항 및 향후 연구진행 일정을 조율

* 참고 : 세계은행과 필리핀 건강보험청의 경우, 내부사정으로 담당연구진이 기초선조사 이후 변경되어 전체 사업 추진배경 및 기초선조사 결과에 대한 공유가 필요

o TVET 연구의 경우, 연구를 위한 기초데이터 수집을 위해 현지기관 설문이 진행 중인 바, 진행 중인 설문 수집현황을 점검하고 사업대상 기관(동인 주식회사)과의 업무협의를 실시

2. 일    정 : 2016. 1. 31(일) ~ 2. 5(금) ※ 출·입국일 포함 6일간

- 필리핀 1차 의료서비스 영향평가연구 연구진 미팅 : 2. 2(화) ~ 2. 3(수)

- 필리핀 기술직업교육훈련 프로그램 영향평가연구 현지조사 : 2. 4(목)

3. 출 장 지 : 필리핀 마닐라

4. 출 장 자 : 총 3명

성 명	소 속	직 위	출장기간 (출장자별 상이)	비고
김태종	KDI대학원	실장/교수	2016.2.2. ~ 2.5	I3QUiP + TVET
김정호*	아주대학교	교수	2016.1.31. ~ 2.5	I3QUiP
정영주	KDI대학원	선임전문원	2016.2.1. ~ 2.5	I3QUiP + TVET

※ 참고사항 : 김정호 교수의 경우 I3QUiP연구의 KDI대학원 측 연구진이며 현재 아르메니아에 체류 중임에 따라 아르메니아 예레반-필리핀 마닐라 최단거리의 항공일정으로 출장 수행

5. 주요면담자

성 명	소 속	직책	관련 프로젝트
Damien de Walque	세계은행 (World Bank)	Senior Economist	I3QUiP
Tomo Morimoto		Operations Officer
Caryn Bredenkamp		Senior Economist
Vida Gomez		Consultant
Futoshi Yamauchi		Senior Economist	TVET
Ruben John Basa	필리핀 건강보험청 (PhilHealth)	Senior Vice President, Health Finance Policy Sector(HFPS)	I3QUiP
Dr. Francisco Soria		Vice President, Quality Assurance Group(QAG)
Gilda Diaz		Senior Manager, Standards and Monitoring Department(SMD)
Dr. Rizza Herrera		Standards and Monitoring Department
Dr. Joy Maala		PCB Team
백명제	동인주식회사 (Dong-In Edge Soft Good Solutions)	이사	TVET

6. 예산항목 : Development Lab 사업

II		세부일정

날짜	시간	주요일정	비고
1. 31 (일)	16:15 / 19:30	예레반 출발 / 두바이 도착 (김정호 교수)	FZ716
2. 1 (월)	13:30 / 16:00	두바이 출발 / 마닐라 도착 (김정호 교수)	EK332
	19:00 / 22:15	인천 출발 / 미닐라 도착 (정영주)	KE621
2. 2 (화)	07:55 / 11:00	인천 출발 / 마닐라 도착 (김태종 실장)	KE621
2. 2 (화)	09:00-17:00	◈ [I3QUiP] 전체연구진 미팅 1일차 실시 영향평가연구 개요 및 방법론 설명 I3QUiP 연구의 성과모형(result chain) 전체사업 진행현황, 평가요소 및 주요활동 기초선조사 결과 공유, 기초선조사 이후 주요 변경사항 공유 인터벤션 실시 관련 연구팀별 업무분장 협의	Ronblon Room, Sofitel (Manila)
2. 3 (수)	09:00-14:00	◈ [I3QUiP]전체연구진 미팅 2일차 실시 인터벤션 실시 관련 연구팀별 업무분장 추가협의 인터벤션 실시 전 지방정부(LGU: Local Government Unit) 오리엔테이션 전략 협의 중간조사(interim survey) 및 종료선 조사(endline survey) 관련 연구팀 별 업무분장 및 주요 조사내용 논의 모니터링과 감독	Ronblon Room, Sofitel (Manila)
	14:00–16:00	WB 연구진과의 별도 업무협의 회의
	17:30 -	◈ [I3QUiP]만찬회의: 필리핀 건강보험청장 면담	마닐라 시내
2. 4 (목)	07:45-08:30	◈ [TVET] 사업장 별 설문 수집현황 조사 및 점검, 사업대상 기관(동인 주식회사)과의 업무협의
	08:30-14:00	- 이동 (Manila → Mariveles 지역) - 지역권별 사업장 방문 및 설문 수집현황 점검
	14:00-15:30	◈ [TVET] 동인 주식회사와의 업무협의 동인 주식회사 HR 부서와의 면담
	15:30-19:30	이동 (Mariveles 지역 → Manila)
	23:45	마닐라 출발 (정영주)	KE624
2. 5(금)	04:20	인천 도착 (정영주)
	00:20 / 15:15	마닐라 출발 / 예레반 도착 (김정호 교수)	EK335/FZ715
	12:30	마닐라 출발 (김태종 실장)	KE622
	17:20	인천 도착 (김태종 실장)

III		회의 주요내용

□ [I3QUiP] 전체연구진 미팅 주요내용

o Impact Evaluation: Background, Concepts, and Methods (Damien de Walque, WB)

- 목적 : 프로젝트에 신규 참여하게 된 PhilHealth 연구진의 연구방법론에 대한 이해도 증진

- 주요내용 : 영향평가(impact evaluation)의 기본 개념, 실시 이유와 IE 연구방법론에 대한 개괄적 설명

· 추가적으로 I3QUiP 연구대상인 LGUs(Local Government Units, 지방정부조직)의 지역별 분포현황, 실험집단과 통제집단 분류현황 등에 대해 공유 (그림 1 참조)

<그림 1: I3QUiP - Sampling Chart>

- 또한 기초선조사(baseline survey) 결과를 두고 보았을 때, 실험집단과 통제집단 사이에 일부항목(세대주의 교육연수 등)을 제외하고는 통계적으로 유의미한 차이가 없음이 확인되었음을 간략히 언급함

o Overall timeline (Vida Gomez, WB Manila Office)

- 2013년 하반기부터 2015년까지 진행된 주요활동에 대해 정리하였음. 당초 계획에는 2014년 하반기부터 실험연구 intervention을 실시하는 것이 목표였으나, 외부적인 환경에 의해 지연되었고 이에 새로이 intervention 실시 계획 및 향후 종료선조사(endline survey)에 이르기까지의 타임라인을 새롭게 정리하였음(그림 2 참조)

<그림 2: I3QUiP - Timeline>

- 변경 Timeline 연내 주요사항

·2016. 2월 : intervention arms에 대한 구체적인 실행계획 수립 (PhilHealth)

·2016. 2월 ~ 3월 1주 : I3QUiP 관련 PhilHealth 관보(Circular) 업데이트본 발송

·2016. 3월 2주 ~ 3주 : I3QUiP 관련 매뉴얼(manual) 발송 (수신자 : LGUs)

·2016. 8월 : LGUs 대상 face-to-face 오리엔테이션 실시

·2016. 4/4분기 중(9월경 예정) : 모니터링을 위한 현지조사 실시

o Baseline survey findings (아주대학교 김정호 교수)

- 기초선조사 실시시기 : 2014. 4월 ~ 5월 (참고 : 기초선조사 당시, LGUs는 실험연구의 내용에 대해 알지 못하는 상황이었음)

- 대상집단 : 총 240개 LGUs (30 provinces, 14 regions)

- 대상집단 선정기준 : 층화 무작위 추출(stratified random sampling)

·1차로 region 단위, 2차로 province 단위 층화 추출 실시

- 조사내용 : LGUs의 기본특성, 보건서비스 관련 기초항목(지역보건소 활용빈도, 지역보건의료소 및 보건인력의 질 등)

- 조사방법 : LCE(Local Chief Executive) 인터뷰, LFO(Local Finance Officer) 등 공무원 대상 설문, 의료인력(의사, 간호사 등) 설문, 의료진료기록부 검토, 환자대상 출구조사 등

- 기초선조사에 대한 검토의견 :

·대체적으로 RHU(Rural Health Unit)s는 기본적인 의료시설 및 의료인력을 보유하고 있으나, 일부 기자재 및 물품(예: X-ray 설비/의료용 솜/일회용 장갑 등) 보유량은 불충분한 경향

·목표질환에 대한 의료약품 보유량은 질병과 시설마다 편차가 큰 편

·또한 PCB1(Primary Care Benefit Package 1: 필리핀 1차 보건의료지원서비스의 공식명칭)에 대한 의료진이나 시민의 인지도는 매우 낮은 편

·층화무작위추출을 통해 선발된 LGU/RHU들은 일부 경우를 제외하고 대체로 밸런스가 잘 맞게 구성된 것으로 판단

·기초선조사시 확인된 바로는 지역 보건의료시설에서 환자들에게 PCB에 대한 공지가 자주 이루어지는 편이 아니었기 때문에, 향후 실험연구 실시 시 환자들에게 정보를 전달하기위해 가장 효과적인 방법을 고안할 필요성 대두

·의사들은 저조한 의료시설 이용률과 불충분한 의료서비스의 가장 큰 원인이 경제적인 것으로 판단하고 있음. 반면 환자들은 제공받은 의료서비스에 대해 높은 만족도를 나타내었음

o SIEF(Strategic Impact Evaluation Fund) 연구비 지원 관련 주요사항 공유 (Tomo Morimoto, WB Manila Office)

- I3QUiP 연구는 SIEF에서 영향평가 연구를 위한 예산을 지원받아 진행하고 있으며, SIEF에서 요구하는 연구비 지원에 대한 조건사항에 대해 전체연구진과 공유하였음

- SIEF는 본 연구를 위한 데이터 수집 관련 비용과 기초선조사/종료선조사를 위한 연구비를 지원하며, 수집된 데이터는 세계은행의 홈페이지를 통해 온라인 공개가 원칙(Open Data 페이지 및 Open Knowledge Initiative 페이지)

- 특히 micro 데이터의 경우, 2년 내 일반에 공개하는 것이 원칙이나 I3QUiP연구를 통해 수집된 데이터는 일부 민감한 개인정보를 포함하고 있기 때문에 세계은행 내 연구진 중 focal point를 두어 데이터 공개요청을 선 검토 후 후 공개하는 방식으로 운영할 수도 있음

→ Damien de Walque 박사를 focal point로 지정하고 PhilHealth의 John Basa 및 KDIS의 김태종 교수를 데이터 정보공개의 참조인으로 결정

o I3QUiP 연구의 성과모형(result chain) 및 Intervention Scheme (John Basa, PhilHealth)

- 연구의 성과모형은 단계별 활동과 장단기 결과도출을 통해 가계단위에서의 본인부담금을 줄이고 LGU 단위에서의 보건관련 예산확충을 통해 궁극적으로 지역주민의 건강증진에 기여하는 것을 최종결과물로 설정하였음 (단계별 세부사항 그림 3 참조)

<그림 3: I3QUiP – Result Chain>

o Intervention 별 주요내용 및 실시계획 (John Basa, PhilHealth)

- Incentive Scheme

·PCB1의 목표질환에 대한 의료서비스 제공 여부를 기준으로 추가가입가구 당 100 페소 추가금을 LGU에 지급 (Quantity measure)

·반기마다 실시되는 의료서비스 품질평가(Quality of Care Assessment) 결과를 기준으로 가입가구 당 100 페소 추가금을 LGU에 지급 (Quality measure)

- Information Scheme

·PhilHealth가 LGU에게 요양급여 가감지급(pay for performance) 진행상황을 분기별로 공유, LGU 회계담당자는 RHU에 재정상황 공지문을 반기별로 발송하여 RHU는 보건의료재정 상황에 대한 공지문을 공지사항을 통해 일반에 공개하도록 함

·LCE와 지역보건소장에게 의료서비스 품질평가(Quality of Care Assessment) 결과를 공유하고, LCE가 이에 대해 공문형태로 직접적인 피드백을 실시

- 향후 2월 ~ 3월 중 PhilHealth가 각각의 scheme 실행방식을 보완하여 전체 연구진과 공유하기로 함

o Interim data collection 관련 논의사항

- 중간점검의 목적 : 기초선조사와 종료선조사 사이에 발생할 수 있는 변화추이를 관찰하여 두 조사 간 분석에 있어 논리적 연계성 강화

- 실시계획(안) :

·2016~2017 기간 중 총 4회, 연 2회 중간데이터 점검 실시

·사전 공지 후 180개(Arm 1/2/3) LGUs에 대한 중간점검을 실시

·제 3차 조사는 사전공지 없이 실시하며 통제집단도 점검대상으로 포함하여 진행

o 추후 연구관련 진행계획

- Intervention 세부시행계획 확정 (의료서비스 제공에 대한 incentive 금액 산출방법 확정 등)

- Intervention 실시 이후 모니터링 계획 확정

- 연구진 정례회의 매달 개최 (Webex 화상회의 매달 실시, 진행상황 공유)

□ [TVET] 사업장 별 설문 수집현황 조사 및 점검, 사업대상 기관(동인 주식회사)과의 업무협의 주요내용

o WB 연구진과의 사전협의 미팅 (2. 4(목) 07:45 ~ 08:30)

- 회의 참석자

이 름	소속 및 직책	비 고
Futoshi Yamauchi	Senior Economist, WB
Marites M. Tiongco	Dean, School of Economics	WB Manila Office – Local Consultant
김태종	개발교육연구실장
정영주	성과평가팀 전임전문원

- 2015년 하반기 중 WB 측 내부진행상황 공유 :

·DTS(Dual-Training-System) 참가자 추적관찰을 위한 서베이회사 조달 관련 행정절차 진행

·Pilot 연구를 위한 현지협력기관 섭외, 추적관찰 설문을 실시해야하는 연구의 특성 상 2016년 1월 enumerator 훈련 실시를 완료하였고 훈련 시 TESDA에서도 관계자가 참석하여 DTS 운영방식에 대한 브리핑 완료

·TVI 기관 선정 완료 : 총 11개 TVI 기관 선정 (마닐라 지역 1개, Regions 3 6개, Region 4-A 4개)

·선정된 TVI 기관은 공공기관과 사설기관의 비율이 적절한 것으로 판단됨

·WB에서 진행하는 연구는 경사형 회귀단절모형(Fuzzy RDD:Regression Discontinuity Design)을 적용하여, 경계값(cutoff point)을 기준으로 처치 확률이 완만한 형태를 띠면서 단절되는 회귀단절모형을 활용할 예정임

·단, 방문하게 되는 Mariveles 지역에서는 참가자 추적에 어려움을 겪고 있어 특별한 주의가 필요한 상황이며, DTS 참여자 전원을 추적하는 것을 목표로 3월까지 추적설문을 진행할 예정임

·추적설문 종료 후 2016. 4월 중 예비조사결과를 도출 할 예정

o 동인주식회사 관계자 면담 (2. 4(목) 14:00 ~ 15:30)

- 회의 참석자

이 름	소속 및 직책
Futoshi Yamauchi	Senior Economist, WB
Marites M. Tiongco	Dean, School of Economics
김태종	개발교육연구실장
정영주	성과평가팀 전임전문원
백명제*	동인주식회사 상무

* 참고 : 백명제 상무와 함께 ㈜동인 내 2개 공장 HR 담당자가 배석하였음

- 연구목적 : 필리핀에서 실시되고 있는 OJT 프로그램의 효과성 검증, 프로그램의 확장가능성 검토

- 연구내용(안) : 유사시기 입사자 중 DTS/non-DTS 트랙 입사자 비교분석, DTS 기간 종료 후 계속고용된 사원의 특성 분석 등

- 동인주식회사에서의 DTS 활용현황 공유 :

·㈜동인은 필리핀 Mariveles 지역에 총 7개의 공장을 운영하고 있으며 증설예정인 1개 공장 포함 총 8500명 규모의 인력이 근무 중. 그 중 현재 ㈜동인에서 활용 중인 DTS 참여자는 공장별 약 50명 규모로 총 300명 정도임

·제조물품의 특성 상 직접비 중 인건비의 비율이 상당히 높은 편이기 때문에, 회사 입장에서 DTS는 인건비 절감과 인력채용의 편이성 측면에서 활용되고 있음

·통상 DTS 트랙으로 입사한 경우 봉제보조원으로 고용되는 경우가 대부분이고, 1년 후 계속 고용 여부를 사측이 결정하게 되며 현재까지는 DTS 트랙 입사자들에 대한 평가가 나쁘지 않은 편임

- 사원 개인의 생산성을 확인할 수 있는 micro data 요청 :

·봉제사(sewer) 직렬의 경우 시간당 작업실적을 평가하는 data가 있으나, DTS 트랙 입사자가 많은 봉제보조원(non-sewer)의 경우 Activity Report(주간)/Behavior Report(월간) 정도만 기록하고 있음

·취업시기/이전경력 및 학력사항 등의 기본정보는 전체종업원에 대한 정보가 존재하며 입사 시 제출한 resume 또한 관리되고 있음

·2015년 9월 이후 새로운 인력관리 시스템이 도입된 바, 그 시점 이후의 종업원에 대한 기본정보 및 개인 생산성 확인이 가능한 자료를 샘플로 제공하기로 함. 끝.

o 회의 사진자료

I3QUiP 전체연구진 회의 1	I3QUiP 전체연구진 회의 2
I3QUiP 전체연구진 회의 단체사진	동인주식회사 관계자 면담