긴 시간 동안 의미없이 진행되는 잦은 회의는 기업의 생산성과 업무 성과를 떨어트리는 중요한 원인이 될 수 있다. 본 사례에서는, 전기통신 장비를 생산하는 한 글로벌 기업에서 불필요한 회의의 횟수를 줄이고, 회의에 참가하는 인원의 수를 줄이며, 회의의 진행시간을 단축하기 위한교육을 실행한 후, Phillips 박사의 5단계 교육효과 평가방법을 통해 교육의 효과가기업의 성과향상에 기여한 정도를 체계적으로 평가하였다. CEO는 생산부서의 매니저들이 회의에 반드시 필요한 직원이 아님에도 참석을 요구하며, 효과적인 회의진행을 위한 체계나 아젠다도 없이 장시간 회의를 진행하는 경우가 빈번하게 발생하고 있음을 지적하였다. 이에 따라 반드시 개선되어야 하는 회의문화로써 1)불필요하게 잦은 회의 진행 2)불필요하게 많은 직원의 회의 참석, 그리고 3)불필요하게 긴 회의 시간을 지적하고, CLO에게 생산부서의 직원들을 대상으로 효과적인 회의운영 스킬을 습득할 수 있는 교육과정의 개발을 요청하였다. 교육과정의 방향을 결정하고 현장에서의 교육 니즈를 파악하기 위하여 생산부서에서 근무하고 있는 150명의 직원 중, 24명의 직원을 무작위로 선발하여 세 그룹으로 나눈 뒤 Focus Group Interview를 실시하였으며, 이들로부터 다음과 같은 교육의 니즈를 밝혀낼 수 있었다. 1) 효과적으로 회의를 준비하고, 진행하며, 사후관리를 도와줄 수 있는 도구와 기법의 습득 2) 회의 진행 중 발생할 수 있는 참석자들간의 다양한 상호작용에 대한 이해 3) 효과적인 회의 진행 및 참여를 위한 전략수립의 방법 습득 이와 같은 현장에서의 니즈를 바탕으로, 최소한의 인원이 참여하면서도 최대한의 생산적인 결과를 도출할 수 있는 회의를 운영하기 위한 교육과정을 개발하게 되었다. 교육 과정 효과적인 회의 운영을 위한 현업 중심의 도구와 전략을 학습할 수 있는 스킬중심의 집합교육이 2일 과정으로 개발되었다. 또한, 교육 종료 후, 학습한 스킬의현업적용도를 높이기 위한 Action Plan의 활동도 설계되었다. Action Plan은 참가자들의 현업적용 활동을 도와주기 위한 역할을 할뿐만 아니라, 교육과정이 목표로 하는 주요 성과지표에 대한 교육의 효과를 측정하기 위한 도구로 활용할 수 있도록 개발되었다. Action Plan과 함께 회의의 진행 횟수, 회의 참석 인원, 그리고 회의진행 시간의 변화를 기록하고 비교하기 위한 ‘Meeting Profile’이라는 도구를 개발하여 교육과정의 중요한 부분으로 활용하였다. CEO는 본 교육과정을 생산부서에 근무하는 150명의 모든 매니저를 대상으로 실행하기 원하였으나, 교육의 실행으로 발생할 수 있는 생산성의 차질을 예방하기 위하여 우선적으로 72명의 매니저만 참가하도록 하였다. CEO는 교육과정의 개발 및 실행을 위해 투입된 시간과 비용 대비, 높은 교육의 효과를 확인하기 원했으며, 교육과정이 목표로 하는 주요 성과지표에 대한 심층적인 분석을 요구하였다 이에, 교육과정의 효과를 체계적으로 측정하고 평가하기 위하여 Phillips박사의 5단계 교육효과 평가 방법인 The ROI Methodology™를 활용하기로 했다. 학습자 만족도(Reaction and Satisfaction), 학습 성취도(Learning), 현업 적용도(Application and Implementation), 경영성과 기여도(Business Impact), ROI, 무형의 효과와 같은 여섯 가지 종류의 데이터를 수집하여 심층적으로 분석하였다. 데이터 수집 계획 Level 1. 학습자 만족도 학습자 만족도 평가의 목표는 교육 참가자로부터 교육 내용의 현업과의 관련성을 중심으로 5.0 만점에 4.0 이상의 만족도 반응을 얻는 것이었다. 학습자 만족도 데이터는 교육 종료 직후, 참가자 대상 설문을 실시하여 측정하기로 하였다. 설문조사의 내용은 교육에 대한 단편적인 만족도를 묻는 것에 그치지 않고, 학습내용이업무성과 향상을 위해중요한 정도와 향후 현업에서 활용할 의향이 있는지를 묻는 질문들도 포함하였다. 주요 설문 문항은 다음과 같았다. · 교육과정의 내용이 현업과 관련성이 있습니까? · 교육과정의 내용이 업무성과 향상을 위해 중요한 내용이었습니까? · 교육과정의 내용을 현업에서 활용할 의향이 있습니까? · 교육과정의 내용이 새로운 내용이었습니까? · 교육과정을 타인에게 추천할 의향이 있습니까? Level 2. 학습 성취도 학습 성취도 평가의 목표는 참가자들이 교육 중에 습득한 지식과 스킬을 정확히 이해하고 활용할 수 있는지를 확인하는 것이었다. 교육 실시 중에 스킬 테스트를 위한 롤플레이를 진행하여 강사가 참가자들의 스킬을 직접 평가하기로 하였으며, 지필 시험을 통해 지식의 변화를 측정하기로 하였다. 학습 성취도는 다음과 같은 항목에 주안점을 두고 평가하기로 하였다. · 참가자들은 효과적인 회의 운영을 위하여 무엇을 어떻게 해야 하는지 이해하였는가? · 참가자들은 새롭게 습득한 지식과 스킬을 활용하기 위한 충분한 자신감이 있는가? Level 3 현업 적용도 현업 적용도를 평가하기 위하여 교육 종료 3개월 후, 참가자를 대상으로 현업적용 설문조사를 실시하기로 하였다. 설문조사의 목적은 교육의 효과로 인하여 회의의 운영방법이나 회의 운영의 스킬이 실제로 어느 정도 변화되었는가를 측정하는 것이었으며, 교육을 통해 습득한 지식과 스킬을 현업에 적용하는데 도움이 되었던 촉진요인과 방해가 되었던 장애요인도 함께 조사하기로 하였다 또한, Action Plan을 현업에서의 행동의 변화를 측정하기 위한도구로 활용하였다. Level 4 경영성과 기여도 경영성과에 대한 기여도를 측정하기 위하여, 교육 종료 3개월 후 설문조사를 통해 월별 회의 진행 횟수, 각 회의의 평균 참가자 수, 평균 회의 시간을 교육 참가자로 하여금 직접 기록하도록 하였으며, 교육 시작 전에 참가자들이 작성한 Meeting Profile의 데이터와 비교하여 경영성과 기여도를 평가하기로 하였다. Level 5 ROI ROI의 목표는 다른 부서에서 집계하고 있는 ROI 데이터의 평균보다 높은 25%로 설정하였다. 데이터 분석 계획 가. 교육효과의 분리 Phillips의 5단계 교육효과 평가 모형에서는 교육의 효과를 분리하기 위한 열 가지의 전략을 제시하고 있다. 본 기업에서는 교육의 효과를 분리하기 위하여 통제집단 활용법, 추세선 분석법, 예측기법의 활용법, 그리고 참가자의 효과 추정을 고려하였다. 먼저, 통제집단 활용법의 사용을 검토하였으나, 생산부서의 특성상 실험집단과 통제집단을 완전하게 분리하기 어려운 상황적 제약이 있었다. 또한, 교육 참가자들에게 교육 실시 전 Meeting Profile 양식을 이용하여 회의 진행의 횟수, 회의 참석자 수, 그리고 회의 진행 시간 등의 데이터를 기록하도록 하였는데, 통제집단 활용법을 사용하기 위해서는, 통제집단에 속한 직원들에게도 같은 정보를 기록하도록 요구해야 했다. 하지만 실험집단과 통제집단 사이에 발생할 수 있는 정보의 교류로 인해데이터의 신뢰도가 낮아질 수 있다는 우려가 제기되었으며, 교육에 참가하지 않은 직원들에게도 데이터의 기록을 요구하는 것은 부서의 업무 생산성에 영향을 줄 수 있다는 우려도 제기되었기에 통제집단 활용법은 고려대상에서 제외되었다. 차선책으로 추세선 분석법 및 예측기법의 활용 가능성을 검토하였으나, 목표로 하는 성과지표들에 대한 교육 전 데이터가 존재하지 않기에 추세선 분석법이나 예측기법 역시 사용할 수 없었다. 이에 따라, 참가자 추정의 방법을 통해 회의시간의 단축, 회의 참가 인원의 감소, 회의 진행 횟수의 감소 등 세 가지 지표에 대한 교육의 효과를 분리하게 되었다. 금전적 가치로의 전환 본 교육과정이 목표로 하고 있는 세 가지의 주요 성과지표인 회의시간의 단축과 불필요한 회의 진행 횟수의 감소는 모두 시간과 관련된 지표이기에, Phillips의 5단계 교육효과 평가 모형에서 제시하고 있는 열 가지의 금전적 가치로의 전환 전략 중에서 ‘시간비용의 활용’ 전략을 이용하여 분리된 교육의 효과를 금전적인 가치로 전환하였다. 즉, 교육으로 인하여 단축된 시간에 교육 참가자들의 시간당 임금과 복지 수당을 곱하여 단축된 시간에 대한 금전적인 가치를 계산하기로 하였다. 비용의 집계 교육 과정의 개발 및 실행을 위해 소요된 모든 직, 간접 비용을 집계하기로 하였으며, 주요 비용항목은 니즈 분석 비용, 교육과정 개발비용, 참가자들의 교통비, 숙박비 및 식비, 교육 시설 이용비, 참가자들의 교육 참가 시간에 대한 임금, 평가비용 등이 포함되었다. 교육효과 평가 결과 Level 1 학습자 만족도 교육 종료 후 진행한 설문 조사에서 “교육과정이 새로운 내용이었습니까?”라는 질문에 대한 만족도만 4.0이하의 점수를 받았으며, 다른 평가 항목들에 대해서는 모두 목표로 했던 4.0 이상의 만족도를 기록하였다. Level 2 학습 성취도 교육 참가자의 학습 성취도는 롤플레이를 통한 스킬평가와, 지필시험, 그리고 Meeting Profile 작성의 방법을 통해 평가하였으며, 교육 참가자 전원이 Meeting Profile을 작성하여 제출하였고, 스킬 평가와 지필시험에서도 모두 목표 이상의 점수를 획득하였다. Level 3 현업 적용도 교육 종료 3개월 후, 현업적용 설문을 실시하여 구체적인 현업 적용도를 조사하였다. 설문 조사의 결과, 교육 후 회의 운영 스킬에 있어서 ‘상당한 변화가 있었음’ 및 ‘매우 큰 변화가 있었음’에 응답한 비율이 높게 나타나 높은 현업 적용도를 확인할 수 있었다. 현업적용의 촉진요인과 장애요인도 조사되었으며, 장애요인으로 가장 많이 지적된 요인은 학습한 스킬을 현업에서 충분히 적용하고 그 결과를 측정할 수 있는 시간의 부족이었으며, 촉진요인으로는, 교육 후 참가자들에게 제공된 업무 매뉴얼과 학습자 교재가 가장 큰 도움이 되었다는 언급이 많았으며, 임원들의 현업적용에 대한 관심과 지원도 현업적용의 촉진요인으로 언급되었다. Level 4 경영성과 기여도 본 교육과정이 목표로 했던 주요 성과지표는 불필요한 회의 진행 횟수의 감소, 회의 진행 시간의 단축 및 회의 참가 인원의 감소였으며, 이 세 가지의 지표들은 교육 전과 비교했을 때 모두 향상되었음을 확인할 수 있었다. Level 5 ROI 교육과정의 총 금전적인 이익과 총 비용을 이용하여 ROI를 계산한 결과, 470%의 높은 ROI가 산출되었다. 무형의 효과 불필요한 회의운영 시간의 단축으로 인한 금전적인 이익과 함께, 교육의 효과로 향상된 다양한 무형의 효과도 확인할 수 있었다. 참가자들이 직접 언급했던 무형의 효과들은 직무 만족도의 향상, 조직 내 효과적인 회의 도구의 확산, 고객만족도의 향상 등이 있었다. 평가 결과의 보고 본 교육과정에 대한 체계적인 평가가 성공적으로 마무리될 수 있었던 중요한 요인 중의 하나는, 평가의 시작 단계부터 종료단계까지의 전 과정이 CEO에게 지속적인보고가 이루어지면서 진행됐다는 점이다. 또한, CEO는 평가의 전략을 세우는 단계와 평가를 위한 데이터를 수집하는 단계에 직접 참여하기도 하였으며, 현업적용도 평가와 경영성과 기여도 평가 데이터가 수집되는 단계에서는 측정된 데이터를 직접 보고받기도 하였다. 평가가 종료된 후, 교육효과 평가 결과는 CEO와 임원들에게 프레젠테이션을 통해 보고되었다. 프레젠테이션에서는 교육효과의 총체적인 분석을 위해 사용된 여섯 가지의 데이터와 함께 평가의 세부적인 프로세스와 방법을 함께 보고하여 임원들이 평가 결과에 대한 신뢰와 타당도를 쉽게 이해하고 받아들일 수 있도록 하였다. 평가 보고서는 ▲ 요구분석 결과 ▲ 교육과정의 설계 ▲ 교육효과 평가의 요구 ▲ 교육효과 평가 프로세스 및 방법 ▲ 교육효과 평가 결과와 같은 내용으로 구성되었다. 결론 및 시사점 본 사례는 ‘효과적인 회의운영 스킬’이라는 soft skill의 향상을 위한 교육과정을 대상으로 Phillips박사의 5단계 교육효과 평가방법을 통해 학습자 만족도 평가부터 학습 성취도 평가, 현업 적용도 평가, 경영성과 기여도 평가, ROI 평가, 그리고 무형의 효과에 대한 평가에 이르기까지 체계적이고 심층적으로 교육의 효과를 측정하고 분석할 수 있었던 좋은 예를 보여주었다. 또한, ‘효과적인 평가 실행을 위한 12가지의 원칙’을 적용하여 최대한 보수적으로 데이터를 분석하고 평가함으로써 평가 결과의 신뢰도를 높였으며, 비용을 집계할 때에도 교육 및 평가 과정에 소요된 모든 직접 및 간접 비용을 포함하여 평가 결과의 신뢰도를 높일 수 있었다. 출처: Phillips, Jack J., and Phillips, Patricia P. (2008).ROI In Action Casebook. Pfeiffer.
본 기업의 생산부서 CEO는 CLO와의 미팅을 통해 “우리의 업무 현장에서 가장 중요한 가치는 효율성이다. 그 동안 많은 부분에서 효율성이 개선되었지만, 시간의 효율적 활용은 이루어지지 못하고 있는 것으로 보인다. 특히, 불필요한 잦은 회의와 장시간의 회의는 생산성을 저해하는 중요한 요인으로 작용하고 있다”며 업무 현장에서의 효율성 가치를 강조하였다.
니즈 분석
교육효과 평가 요구
ROI를 계산하기 위하여, 먼저 단축된 총 회의 시간을 금전적인 가치로 전환하였다. 교육 전과 비교했을 때 단축된 총 회의시간인 76.58시간에 회의에 참여한 직원들의 시간당 임금과 복지비용을 반영하였으며, 연간 단위로 계산했을 때, 총 이익이$715,327.65로 산출되었다.또한, “효과적인 평가 실행을 위한 12가지의 원칙’에 근거하여 교육 및 평가 과정에 소요된 모든 직접 및 간접 비용을 집계하였다. 참가자가 교육에 참가함으로써 발생하는 업무 공백의 비용도 시간당 급여로 산출하여 포함하였으며, 평가 데이터 수집 및 분석 비용 등 평가 과정에서 소요된 모든 비용도 포함하였다. 총 비용은 $125,408로 집계되었다.
글 안정훈 ROI Institute Korea 대표
