교육 전문가들은 끊임없이 새로운 개념과 용어를 만들고 있다. 이러한 새로운 개념과 용어는 기업교육 분야의 발전에 있어서 매우 의미있는 것이다. 그러나 일부 모호한 용어들의 출현으로 기업교육 관계자들 및 경영자들이 혼란을 겪기도 한다. 최근 ‘ROE(Return on Expectation)’라는 용어가 많은 논란을 낳고 있다. 지금부터 ROE가 기업교육의 효과를 측정하는 방법으로써 적절한지 여부를 살펴보도록 하자.
ROE란 무엇인가?
ROE는 수치인가? 개념인가? 목표인가? 혹자들은 ROE를 수치라고 한다. 우리는 최근 교육의 결과로써 85.2라는 매우 인상적인 ROE 수치를 보고했던 한 보고서를 볼 수 있었다. 이 결과는 많은 이들의 이목을 집중시켰고, 심지어 ‘ROE’라는 약어에 익숙한 기업 경영진들의 관심을 불러일으키기도 했다.
그러나 여기서 주목할 점은 일반적인 비즈니스 용어로써의 ROE는 ‘Return on Equity’라는 자기자본이익률로써, 기업교육에서 말하는 ‘ROE(Return on Expectation)’, 즉 기대 대비 효과와는 전혀 다른 개념이라는 것이다. 불행히도 앞에서 살펴본 85.2라는 ROE 수치는 경영진이 이해한 것처럼 주주에게 돌아가는 순이익을 의미하는 ‘자기자본이익률(Return on Equity)’이 아니라 ‘기대대비효과(Return on Expectation)’라는 교육에 대한 기대치 대비 교육의 실제 효과와 만족도를 1에서 100까지의 숫자로 나타낸 것이었다.
혹자들은 ROE를 하나의 개념이라고 말한다. 고객의 교육 유용성, 현업 관련성, 그리고 가치에 대한 기대치를 얼마나 충족하였는가를 나타내는 개념이라는 것이다. 간단히 말해 ROE는 교육 수요자에게 교육에 대해 얼마나 만족하였는가를 묻는 것으로 Level 1 만족도 평가와 같은 개념이라고 볼 수 있다.
ROE가 목표라는 주장도 있다. 몇몇 사람들은 ROE가 교육의 목표 달성여부를 확인하는 것에 기초를 둔 개념이라고 말한다. 여기서 말하는 교육의 목표가 생산성과 제품의 질, 판매량의 향상이라면, ROE는 교육의 경영성과 기여도를 확인하는 커크패트릭과 필립스 박사의 Level 4 경영성과기여도 평가와 같은 개념이라고 할 수 있다. 그리고 ROE의 개념이 목표달성 여부를 확인하는 것이라면, 교육 수요자가 현업에서의 행동 변화를 목표로 설정하는 경우, ROE 목표한 현업에서의 행동 변화를 확인하는 커크패트릭과 필립스 박사의 Level 3 현업적용도 평가와 같은 개념이라고도 할 수 있다. 또한, 교육 수요자가 교육 참가자의 지식과 스킬의 향상을 목표로 한다면, ROE는 교육으로 인한 교육 참가자의 지식과 스킬의 변화를 확인하는 커크패트릭과 필립스 박사의 Level 2 학습성취도 평가와 같은 개념이라고도 할 수 있다.
첫째는 많은 교육 전문가와 매니저, 그리고 임원들이 스스로도 자신의 교육에 대한 기대치를 구체적으로 어떻게 표현해야 하는지 알지 못한다는 것이다.
두 번째 문제는 고객들이 교육에 대해 실현 불가능한 기대치를 설정하기도 한다는 것이다.
ROE는 어떠한 방법으로 산출되는가?
ROE의 정의가 모호한 것만이 문제가 되는 것은 아니다. ROE의 값 또한 잘못된 방법으로 산출되고 있다. 몇몇 사람들은 ROE가 전적으로 교육을 의뢰한 고객사의 기대에 근거하여 산출되는 것이라고 말한다. 그러나 이러한 방식의 ROE 산출에는 두 가지 문제가 있다.
첫째는 많은 교육 전문가와 매니저, 그리고 임원들이 스스로도 자신의 교육에 대한 기대치를 구체적으로 어떻게 표현해야 하는지 알지 못한다는 것이다. 대부분의 사람들은 교육에 대한 기대치를 표현할 때 “교육이 효과적으로 진행되기를 바란다”, “본 교육이 매니저에게 최상의 교육이 되기를 희망한다”고 말한다. 그러나 여기서 말하는 ‘효과적’, 또는 ‘최상’의 구체적 의미는 무엇이란 말인가? 이렇듯 대부분의 교육 수요자들이 자신의 교육에 대한 기대를 모호하게 표현하는 것이 일반적이며, 이러한 모호한 표현들로 인해 평가자들은 교육 수요자의 요구를 잘못 이해한 채, ROE를 측정하는 오류를 범하는 사태가 발생하기도 한다.
전적으로 고객사의 기대에 근거하여 ROE를 산출함으로써 발생할 수 있는 두 번째 문제는 고객들이 교육에 대해 실현 불가능한 기대치를 설정하기도 한다는 것이다. 예를 들면, 교육을 의뢰한 고객들은 종종 “교육을 통해 150%의 ROI가 산출되기를 희망한다”, “우리가 단 한 번도 달성해보지 못한 Sales 기록이지만, 교육 후 6개월 후에 Sales가 100% 향상되기를 기대한다”, “교육 후 콜센터 직원들의 무단결근율이 0%가 되기를 희망한다”고 말한다. 이러한 기대들은 현실적이지 않은 것들이다. 이렇듯, 종종 교육을 의뢰한 고객들의 기대치가 비현실적이거나 실현 불가능한 기대치일 수 있다는 점에서 전적으로 고객의 기대에 근거하여 ROE를 산출하는 것은 문제가 있다.
경영학-회계학적인 용어와의 혼돈
기업 교육에 있어서 CFO(Chief Financial Officer)와 재정부서로부터 예산을 지원받는 문제만큼 중요한 과제는 없을 것이다. 오늘날 많은 CEO들은 CFO에게 재정적 지원이 이루어진 사업들의 효과와 가치를 보여줄 것을 요구하고 있다. 이를 반영하여 HR 부서가 CFO에게 사업을 보고할 때도 사업의 효과와 가치를 함께 보고하고 있는 추세이다. 이러한 추세에서 알 수 있듯이 교육의 효과를 정확하게 측정하는 것은 교육의 시행 및 예산 배정과 관련한 승인을 얻는데 있어서 매우 유용한 근거가 될 수 있다.
기업교육에서 사용하는 용어인 ‘ROE(Return on Expectation)’와 경영학적인 ‘ROE(Return on Equity)’의 약어가 동일하게 쓰이고 있어 다수의 회계 담당자들이 혼란을 겪고있다. ROE 이외에도 의미는 다르지만 같은 Return이라는 단어가 들어가고, 동일한 약어를 사용하고 있어 혼돈을 유발하는 용어들이 다수 있다.
그리고 이러한 용어들 중에는 그 의미 자체가 불분명하여 혼란을 가중시키기도 한다. 그 예로는 Return on Anticipation(ROA), Return on Inspiration(ROI), Return on Information(ROI), Return on Involvement(ROI), Return on Client Expectation(ROCE), 그리고 Return on Event(ROE)가 있다. 심지어 기업교육 분야의 용어로써 ‘Return on Training(ROT)’, ‘Return on People(ROP)’ 등 모호한 표현들이 혼재되어 있어, 혼란을 더욱 가중시키고 있다.
비즈니스 기여도에 주목하라
대부분의 경영진들은 교육이 조직의 비즈니스 니즈를 충족시켰는지의 여부와 비즈니스 성과에 대한 교육의 기여도를 알고 싶어 한다. 그러나 최근 ASTD가 실시한 Fortune 500대 기업을 대상으로 한 설문 결과를 보면 의아하지 않을 수 없다. 설문 결과, 응답자의 96%가 교육의 Level 4 경영성과 기여도를 알고 싶다고 응답하였지만, 실제 Level 4경영성과 기여도 평가를 실시하고 있다고 응답한 비율은 고작 8%에 불과했기 때문이다. 그리고 Level 5 ROI 평가까지 진행하고 싶다고 응답한 비율도 74%로 나타난 반면, 실제 Level 5 ROI 평가를 실시하고 있다고 응답한 비율은 고작 4%에 불과했다.
즉, 대다수의 경영진들이 체계적인 교육 효과 평가를 희망하고 있지만, 실제 이를 실행하는 기업은 극소수에 불과하며, 경영진의 평가에 대한 요구와 현실의 차이는 매우 크다는 것을 알 수 있다.
교육 전문가들은 이러한 경영진의 요구와 현실의 차이를 지각하고, 실제 교육에 비용을 투자하고 있는 교육의 실질적인 고객인 경영진의 요구를 충족하기 위한 노력을 기울여야 할 것이다. 이들의 투자가 없다면, 교육부서가 제 기능을 수행하지 못할 뿐만 아니라 존재조차 어려워질 것이다. 그럼 지금부터 교육의 실질적인 고객인경영진의 요구를 충족하기 위한 체계적인 교육 효과의 측정 및 평가 방법을 알아보도록 하자.
기본으로 돌아가라
그렇다면, 조직의 비즈니스 니즈를 반영한 교육과 평가를 실행하기 위해 가장 좋은 방법은 무엇일까? 필립스 박사의 5단계 교육 효과 평가 모형에서는 Level 1 학습자 만족도 평가부터 Level 2 학습성취도 평가, Level 3 현업 적용도 평가, Level 4 경영성과 기여도 평가, 그리고 Level 5 ROI 평가까지 단계적으로 교육의 효과를 측정할 수 있는 신뢰도 높은 방법을 제시하고 있다.
경영층이 교육 효과의 평가와 관련하여 가장 알고 싶어 하는 정보는 현업에서 학습자들의 변화를 확인하는 Level 3 학습성취도 평가와 교육의 경영성과 기여도를 확인하는 Level 4 경영성과 기여도 평가, 그리고 교육에 소요된 총비용 대비 교육의 비즈니스 수익 비율(%)을 확인하는 Level5 ROI 평가일 것이다. 필립스 박사의 5단계 교육 효과 평가 모형에서는 Level 1부터 Level 5까지 각 단계별로 체계적으로 평가 목표를 수립하고, 신뢰도 높은 데이터를 측정하기 위한 전략을 실행하는 방법을 제시하고 있으며, 이러한 프로세스를 통해 도출된 신뢰도 높은 평가 결과는 교육의 비용을 부담하는 실질적인 고객을 비롯한
모든 이해관계자들의 공감을 이끌어낼 수 있을 것이다.
교육 담당자들은 지금부터라도 ROE와 같이 그 본질을 알 수 없는 평가 방법의 유혹으로부터 벗어나 체계적으로 교육효과를 측정하고 평가할 수 있어야 할 것이다.
결론
오늘날 Return on Expectation, Return on Anticipation, Return on Client Expectation과 같이 의미가 모호한 용어들이 난무하여 많은 혼란을 야기하고 있다. 이러한 용어들은 본질적으로 신뢰성 없는 교육효과 측정 및 평가방법일 뿐만 아니라, 특히 문제가 되는 점은, 이 용어들이 일반적인 경영성과 측정치를 나타내는 용어와 동일한 약자를 사용함으로써 교육의 비용을 부담하는 고객들이 그 결과를 잘못 이해하는 상황을 야기하기도 한다는 점이다. 즉, 이러한 용어와 교육 효과 측정 방법은 교육의 효과를 알고 싶어 하는 고객의 요구를 전혀 만족시킬 수 없다.
교육 담당자들은 지금부터라도 ROE와 같이 그 본질을 알 수 없는 평가 방법의 유혹으로부터 벗어나 체계적으로 교육효과를 측정하고 평가할 수 있어야 할 것이다.
출처: Phillips, Jack J., and Phillips, Patricia P. 2011.
The Myths of Return on Expectation.Talent Management.2011.
글 Jack J.Phillips and Patti P.Phillips │ 정리 안정훈 ROI Institute Korea 대표
