라오스 이종욱-서울 프로젝트

최종연구결과 현지 공유세미나 결과보고

□ 배경 및 목적

ㅇ KDI대학원 성과평가팀은 라오스 국립의대(UHS: Lao University of Health Science) 교과과정 개선과 동 의대교수들의 능력 향상을 위하여 대한민국 보건복지부, 한국국제보건의료재단, 서울대학교 의과대학이 공동 추진해온 ‘이종욱-서울 프로젝트’의 효과를 측정하고 프로젝트의 성과를 제고하기 위한 영향평가 연구를 2011년부터 수행

ㅇ 지난 2012년/2014년 발간된 제1차/2차년도 연구보고서에 이어 올해 발간될 최종보고서 연구 결과를 공유하고 관계기관 담당자, 라오스 보건부, 라오스 중앙 및 지방병원 대표자를 초청하여 연구결과에 대한 피드백을 수집하고 의료인력 교육 및 의료서비스 전달 체계 전반에 대한 의견을 공유하고자 본 현지 공유세미나를 개최하였음

□ 회의 개요

ㅇ 회의명

- 국문명 : 라오스 이종욱-서울 프로젝트 최종연구결과 현지 공유세미나

- 영문명 : Dissemination Seminar on "A Real Time Impact Evaluation of Dr. LEE Jong-Wook--Seoul Project in Lao PDR"

ㅇ 일  시 : 2015년 12월 21일(월) 10:00-16:00

ㅇ 장  소 : 라오스 비엔티안 돈 찬 팰리스 호텔 (Don Chan Palace Hotel)

ㅇ 참석자 : 약 90명

- 라오스(약 88명) : 보건부 관계자 및 17개 지역 지방병원 대표자* 각 4인

* 참고 : Chief of Division of Public Health Provincial, Chief of Provincial Hospital, Medical doctor who is responsible for DTC(Disease Treatment Committee)

- KDI대학원(5명) : 김태종 실장, 김정호 교수(아주대학교), 신좌섭 교수(서울대학교), 서민영 성과평가팀장, 정영주 성과평가팀 선임전문원

- 기타 현지 유관기관(KOICA 라오스사무소 보건전문관 등) 전문가(약 5명) 등

ㅇ 주   최 : 라오스 보건부, KDI국제정책대학원

□ 세부 프로그램

시 간	내 용
09:30-10:00	등록 및 착석
10:00-10:15	개회식 개회사 : Mr. Bounnax (Deputy Director of HCD, 라오스 보건부) 환영사 : 김태종 개발교육연구실장
10:15-10:45	발표 1. 이종욱-서울 프로젝트의 영향평가연구 발표자 : 김태종 개발교육연구실장 (KDI대학원)
10:45-11:15	발표 2. 라오스 국립의대(UHS) 재학생들의 성과 분석 발표자 : 김정호 교수 (아주대학교)
11:15-11:45	발표 3. 라오스 이종욱-서울 프로젝트의 성과평가: 수원국의 관점 발표자 : Prof. Bansa Oupathana (라오스 국립의대)
11:45-12:00	자유토론 (Q&A)
12:00-14:00	오 찬
14:00-14:30	발표 4. 라오스 루앙프라방 주 의료인력 재교육 사례발표 발표자 : 신좌섭 교수 (서울대학교)
14:30-15:00	발표 5. 호주 멜번대학교 소아과 전문의 역량강화사업 사례발표 발표자 : Tim Wittick, Penny Wittick (소아과 전문의, 멜번대학교 연구진)
15:00-15:30	지정토론 및 자유토론
15:30-16:00	폐 회

□ 회의 주요내용 정리

ㅇ 개회식 (Opening Session) - 김태종 실장 환영사

- Mr. Bounnax(Deputy Director, MOH) 등 라오스 보건부 관계자, 라오스 국립의대 교수진, 라오스 중앙병원 및 지방병원 대표자 분들에 대한 감사를 표함. 촉박한 일정에도 불구하고 라오스 보건부 측에서 전체 행사 개최에 협조해주신 점 감사

- 전체 프로그램 및 연구내용에 대한 간단한 소개 : 이종욱-서울 프로젝트는 고 이종욱 WHO 사무총장을 기리고 한국의 보건의료분야에 대한 국제사회의 협조와 노력을 기리기 위한 프로젝트로, 미네소타 대학의 서울대학교 의대에 대한 의료인력 역량강화사업에서 영감을 받아 추진된 사업임. 본 연구는 설명한 라오스 국립의대와 서울대학교 의과대학이 협력하여 추진한 ‘라오스 이종욱-서울 프로젝트’의 효과를 측정하여 단기적인 효과(output)뿐 아니라 장기적인 관점에서 라오스의 보건의료 환경개선에 이바지했는지를 확인하고자 하였음.

- 동 연구프로젝트의 최종보고서 발간을 즈음하여 개최하게 된 현지세미나 자리를 빌어 연구를 수행할 수 있도록 2011년 당시 진행 중이었던 프로젝트에 참여를 허락해주신 라오스 보건부/한국 보건복지부/한국국제의료재단(KOFIH) 및 라오스 국립의대/서울대학교 의과대학 관계자에게도 감사. 또한 많은 라오스의 동료들이 분석을 위한 현지자료 수집 뿐 아니라 전반적인 보건의료 체계에 대해 이해 할 수 있는 기회를 제공해주어 또한 감사함.

- KDI대학원 성과평가팀은 그간 역량강화프로그램의 질적평가(Quantitative assessment)에 집중하여 연구사업을 진행했으나, 이번 연구가 종료되더라도 라오스 보건부 및 국립의대와 향후에도 지속적인 협력을 희망함.

ㅇ [김태종 실장 발표] 이종욱-서울 프로젝트의 영향평가연구

- 서두에서 2010년부터 관계기관과의 협업을 통해 이 연구 주제를 최초로 발굴한 김준경 총장님과 이계우 교수가 이번 세미나에 함께 하지 못한 점을 언급하고, 2015년 KDI Journal of Economic Policy에 “Real-time Impact Evaluation of a Capacity Building Health Project in Lao PDR”이라는 제목으로 본 연구의 결과를 게재하게 되었다는 점을 공유함.

- 본 연구 프로젝트는 우리나라 개발원조사업에 대한 실시간 영향평가를 실시하여 2010년부터 3년간 실시된 해당 프로젝트가 라오스 보건분야 인적역량강화에 프로젝트가 미친 효과성을 분석하고자 하였으며, 이를 위해 라오스 국립의대의 재학생 성적데이터를 활용하여 분석하였음.

- 연구진은 해당 프로젝트를 통한 펠로우십 트레이닝이 라오스 국립의대 재학생의 학업능력 향상에 기여했다는 가설을 세우고 이를 검증하기 위해 DID(Difference-in-Difference, 이분차분)을 활용한 분석을 하였고, 라오스 국립의대 교수진을 통해 제공된 총 46개의 교과과정을 24개의 실험집단(treatment group)과 22개의 통제집단(control group)으로 나누었음. 이 때 실험집단에 속하는 교과과정은 이종욱-서울 프로젝트에 펠로우로서 참여한 교원에 의해 실시된 교과과목이고, 통제집단은 펠로우가 아닌 교원에 의해 실시된 교과과목임. 또한 46개의 교과과정 중 24개의 과정은 이종욱-서울 프로젝트에 참여하여 연수과정을 완수하고 UHS에서 다시 수업을 시작한 교수진이 최소한 1인 이상 포함되었고, 22개의 코스는 펠로우가 전혀 포함되어있지 않은 통제집단이었음.

- 프로젝트 실시 전후의 평균적인 재학생 성적을 비교 해보았을 때 통제집단 그룹에 속한 학생들의 성적은 프로젝트 실시 이후 소폭 떨어졌음에도 불구하고(2.521→2.479), 실험집단 그룹에 속한 학생들의 성적은 동일기간에 일부 상승하였음(2.151→2.364)이 확인됨. 이 결과를 두고 이분차분 분석을 했을 때, 통제집단과 실험집단을 비교한 평균적인 재학생 학업성적의 차이는 0.255(0.213+0.042)로, 프로젝트에 참여했던 교원에게 수학한 재학생의 성적이 0.255 정도 상승했다는 것을 확인할 수 있었음.

- 이러한 분석을 통해서 통제집단 그룹의 학생들의 성적은 떨어진 것을 확인할 수 있었으나, 그 이유는 라오스 국립의대에서 실시된 시험을 특성상 매번 시험에 응시하는 학생들의 구성이 달라졌기 때문으로 볼 수도 있고, 이 인터벤션(intervention, 이 경우 이종욱-서울 프로젝트에 교원이 참여했는지 여부)이 없이도 실험집단 그룹의 성적이 오를 수 있었는지에 대해서는 여러가지 상이한 해석이 있을 수 있음. 이와 관련해서는 이어지는 김정호 교수의 발표가 연구의 설명력을 지원해 줄 수 있을 것으로 기대.

- 더불어 동 연구에서 실험집단 그룹에 있었던 교원의 수는 6명이었기 때문에 충분한 양의 데이터가 축적되었던 것으로 보기 어려울 수 있으며, 지속적인 추적관찰을 통해 분석에 포함시킬 수 있는 샘플의 수를 늘릴 수 있다면 더 큰 영향을 분석해 볼 수 있을 것으로 판단됨. 또한 이종욱-서울 펠로우십 프로그램이 벌써 2단계 사업으로 진행되고 있으며 총 9년간 진행하는 것으로 기획된 프로그램이기 때문에, 향후 사업이 진행되면서 더 큰 효과 확인해 볼 수 있을 것으로 기대함.

- 현재의 연구는 비교적 짧은 시간동안 진행됨에 따라 가시적으로 성과를 확인하기 용이한 학생들의 학업성적을 중심으로 라오스 펠로우들의 교수능력을 평가했지만, 장기적으로는 펠로우십을 통해 훈련받은 교수들의 연구능력 향상의 정도를 평가해 보는 것도 좋은 연구주제가 될 수 있을 것으로 기대함. 이와 함께 펠로우십 훈련을 받은 교수들에게 교육받은 학생들이 더 좋은 의사가 될 수 있을 것 인가는 별도의 연구를 통해 분석해야할 것임.

ㅇ [김정호 교수 발표] 라오스 국립의대(UHS) 재학생들의 성과 분석

- 이종욱-서울 프로젝트는 직접적으로 라오스 국립의대(UHS) 교수진들의 교수능력과 연구역량을 향상시키는 목표를 가지고 교수진에 대한 교육 의료장비를 지원하고 라오스 국립의대의 교육 커리큘럼 개선을 지원(커리큘럼 개발 지원, 교육 워크숍 개최 등)하는 프로그램이었다고 할 수 있음. 동 프로젝트를 통한 재학생들의 학업능력 향상 정도를 분석하기 위해 과목별 학생들이 수강한 수업시간을 계산하고, 수업시간 대비 서울대에서 교육받은 교수들의 숫자를 비교하였음.

- 표준화시험에서 학생들의 성과를 측정하기 위해서는 한국 교육평가컨소시엄( Medical Education Assessment Consortium : MEAC)의 의학지식평가시험을 채택, 이를 라오어로 번역하여 영/라오어 버전을 모두 사용하였음. 시험문제 중 라오스의 상황에 적합하지 않은 경우는 국립의대 교수진과의 사전 상의를 통해 제외하였고, 시험시간 등의 시험과 관련된 기타조건은 한국 학생들과 동일한 기준을 적용하여 시험을 실시하였음. 비록 일부 시험문제에 취약점은 있었지만 상당히 표준화된 시험이었기 때문에 통계적 추론의 신뢰도를 보장하고 라오스 및 한국 학생들 간 성적을 비교학생들의 수준을 평가하기에 적합하였던 것으로 판단됨.

- 총 3차에 걸친 의학지식평가시험(기초 및 임상) 결과 중 재학생의 시험참여율을 기준으로 하여 기초의학시험의 경우에는 5학년 학생을 대상으로 2차-3차 시험결과를, 그리고 임상의학시험의 경우에는 6학년 학생을 대상으로 1차-3차 시험성적을 비교하여 분석하였음. 과목별 향상정도를 분석한 결과, 통계적으로 유의하게 실험집단 그룹에서의 시험성적상승을 확인할 수 있었음.

- 그러나 이러한 결과는 몇 가지 한계점이 노정되었음. 먼저 재학생의 시험참여가 강제되지 않았기 때문에 회차에 따라 참여재학생이 조금씩 달랐고 이로 인해 샘플의 선택편향 오류가 발생할 수 있음. 2개년 동안 치러진 시험의 특성상 재학생들 사이에서 정보가 사전에 공유되는 등 전이효과가 발생했을 가능성 또한 배제할 수 없음. 이상에서 언급한 한계점에도 불구하고 정책적인 측면에서 볼 때, 동 프로그램이 라오스 국립의대 재학생의 의학지식 습득정도 향상에 큰 영향을 주었다는 점에서 향후 지속적으로 프로젝트를 확대할 필요가 있을 것임.

ㅇ [Bansa Oupathana 교수 발표] 라오스 이종욱-서울 프로젝트의 성과평가: 수원국의 관점

- 발표자는 라오스 국립의대의 연혁과 운영개요를 소개하고 해외기관과의 협력현황에 대해서도 간단히 언급하였음. 또한 이종욱-서울 프로젝트에 참여하는 교수진들의 선발과정 및 사업 착수년도인 2010년부터 현재까지의 진행상황에 대해 공유하고 지원된 기자재를 활용하여 2016년부터는 라오스에서 유일한 분자유전학실험실을 국립의대 내에 설치하게 되었다고 설명함.

- 그러나 수원국의 관점에서 볼 때 프로젝트의 지속가능 여부 및 지원받은 기자재와 교육을 내부적으로 활용할 수 있는 역량을 배양하는 것이 남아있는 도전과제라고 할 수 있음.

ㅇ [신좌섭 교수 발표] 라오스 루앙프라방 주 의료인력 재교육 사례발표

- 서울대병원 공공의료사업단과 서울의대 의학교육학교실은 2012년도부터 라오스주립, 군립병원의 역량강화를 위한 연수교육(Continuing Professional Development, CPD)을 실시하고 있음. 주요 사업대상은 세계문화유산으로 널리 알려져있는 루앙프라방 주(州) 내 12개 군립병원임.

- 라오스는 의료인력 공백을 메꾸기 위해 3년제 교육을 받는 준의사(Medical Assistant)를 양성하였고 현재 북부지역 군립병원에서 일하는 의료인력은 대부분 준의사나 조산사인 상황임. 이들은 최일선에서의 기초의료를 담당하고 있기 때문에 내과, 외과, 산부인과, 소아과, 응급의학 등 전 영역의 진료를 전공구분없이 감당해야하는 형편이지만 제대로 교육 받은 적이 없는 경우가 대부분이었음. 이로 인해 지역병원을 방문한 환장 중 위험 산모가 있어도 출산 직전까지 이를 진단하지 못하여 산모가 후송 도중에 사망하는 등의 일이 벌어지고 있음.

- 이에 따라 사업팀은 중앙병원 의사들이 군립병원 의료진 재교육을 위한 가이드라인(내과, 외과, 산부인과, 소아과, 응급의학 각 영역에서 15-20개의 필수역량)을 만들고 이를 활용하여 주립병원 의사들과 함께 군립병원 인력을 재교육하는 계획을 수립하였음. 동 프로젝트에서 한국인 교수들은 뒤에서 교육과정 개발, 교재감수 등을 돕기만 하고 라오스 인력 스스로 교육을 하도록 계획하였음.

- 사업 운영에 있어서 동 프로젝트는 사업을 둘러싼 환경을 분석하고 비전, 장애, 전략을 도출하는 일련의 워크숍을 통해 팀워크를 구축하고 사업 전략을 라오스 전문가들 스스로 수립하게 하는 등 수원국의 오너십을 확보하는데 주력했다는 데 그 특성이 존재함. 또한 이어진 교육과정개발 워크숍을 통해 군립병원 종사자들을 위한 교재개발을 실시하였고, 주립병원 의료진을 트레이너로 양성하는 Train of Trainers(TOT) 워크숍을 실시하기도 하였음.

- 커크 패트릭(Kirkpatrick) 4단계 교육평가 모델을 활용하여 동 프로젝트의 효과성을 평가한 결과, 반응평가(교육생의 만족도)/학습성취도 평가/업무수행능력평가/경영성과 평가 등 모든 단계에서 긍정적인 결과가 있었으며, 향후 라오스의 보편적 의료보장을 위해 유사한 방식의 프로그램을 적극적으로 추진할 필요가 있는 것으로 판단됨.

ㅇ [멜번대학교 연구진 발표] 호주 멜번대학교 소아과 전문의 역량강화사업 사례발표

- 앞서 사례로 소개된 프로젝트들과 달리, 멜번대학교-라오스 국립의대 소아과 전문의 역량강화사업은 멜번대에 재직 중이었던 직원(medical education officer)의 개인적인 라오스 방문(2006)을 계기로 시작되었음. 이후 기관 간 협의를 통해 2009 ~ 2011년 기간동안 WHO에서 발간한 “Pocketbook of Hospital Care for Children” 내용의 실행을 위해 기관간 협력이 추진되었고, 2011년에는 멜번대-라오스 국립의대 간 MOU가 체결되었음.

- 멜번대 프로젝트는 호주의 소아과 의료인력을 짧게는 6개월, 최장 1년 동안 파견하여 병원의료 질 향상을 돕고 라오스 소아과의의 역량강화를 지원하는 프로젝트임. 그 중 소아과 전문의 역량강화를 위해서 졸업생들의 진료능력 향상을 위해 교과과정 중 시험문제에 대한 전문적인 컨설팅을 제공하고 형성평가를 실시하는 등 기술협력을 실시하고 있음.

- 또한 현장에서 활용할 수 있는 의학자료 보급을 위해 WHO Pocketbook를 확대 보급하는 세부사업도 추진중이며, 소아과 전문의를 위한 가이드라인을 수립하기 위한 작업반을 구성한 상황이며, 신좌섭 교수 발표에서 언급된 교재도 공유받을 수 있기를 희망함.

첨부파일 : 발표자료 및 사진자료. 끝.