[안정훈] 성과 향상 교육에 관한 ROI 평가 사례
- Measuring ROI in Performance Management Training
미국 내 주요 도시를 중심으로 음식점 체인을 운영하고 있는 ‘Cracker Box’에서는 매장의 신입 매니저들을 교육하기 위한 일주일간의 스킬 중심의 교육을 한 후, 액션플랜을 활용하여 교육이 성과에 이바지한 정도를 평가하였다. 본 사례에서는, 교육 참가자들의 현업 적용도를 높이기 위한 액션플랜을 ROI 평가의 도구로서 활용할 수 있었던 방법을 살펴보고, Phillips 박사의 5단계 평가 모형인 ‘The ROI MethodologyTM’를 통해 신뢰도 높은 ROI 평가를 진행할 수 있었던 구체적인 방법에 대해서 자세히 알아본다.
Cracker Box는 미국 내에서 홈 스타일의 음식점 체인을 운영하는 기업이다. 본 기업은 지난 10년간 지속적인 혁신과 성장을 통해 주요 도시를 중심으로 400여 개
의 체인점을 운영하고 있다. 이러한 지속적인 성장은 각 매장의 모든 업무를 총괄하고 있는 매니저들의 헌신적인 노력과 뛰어난 업무 수행 능력이 있었기에 가능한 것이었다. 그러나 매니저들의 퇴직률이 25%로 높았으며, 매장의 지속적인 확대 때문에 매년 150명의 매니저를 새롭게 채용하고 교육해야 했다. 이에 본 기업에서는 지속적인 성장과 높은 수준의 소비자 서비스를 유지하기위하여, 새롭게 채용된 매니저들을 빨리 매니저의 업무를 수행할 수 있도록 하기 위한 현업 중심의 교육 과정을 개발하게 되었다.
니즈 조사
교육 과정의 개발에 앞서서 두 가지 형태의 니즈 조사를 실시하였다. 먼저, 거시적인 니즈 조사를 통하여 회사의 정책, 업무수행스킬, 그리고 리더십의 영역 중에서 교육 참가자들에게 교육이 필요한 영역이 무엇인지 파악하였다. 니즈 조사 결과, ‘문제 해결스킬’ , ‘업무 수행스킬’, 그리고 ‘상담 스킬’을 중심으로 하는 현업중심 교육과정개발의 필요성이 대두하였다. 그리고 미시적인 니즈 조사로서, 교육 참가자들로 하여금 본인이 소속된 매장의 다양한 성과지표 중에서 교육을 통해 향상해야 하는 지표 세 가지를 매장의 매니저와 함께 선정하도록 하였다. 성과지표는 교육내용과 관련성이 높으며, 신입 매니저의 리드와 팀의 공동 노력으로 향상되어야 하는 지표들로 선정하도록 하였다. 교육 참가자들이 실제로 선정한 성과지표들에는, ‘생산성의 향상’, ‘결근율의감소’, ‘퇴직률의 감소’, ‘고객 불만의 감소’, ‘수익성의 향상’, 그리고 '매장 내 사고발생 건수의 감소’ 등 각 매장의 상황에 따라 다양한 지표들이 포함되었다.
교육 과정
신입 매니저들을 위한 교육은 9개월간의 현장 실습 교육 형태로 진행되었으며, 이 기간에 신입 매니저들은 각 매장에 배치되어 실제 매니저의 업무를 수행하였고, 매장의 기존 매니저는 멘토의 역할을 수행하였다. 그리고 집중적인 스킬 연습을 위한 ‘Performance Management Program’이라는 일주일간의 집합교육에도 참여하였다. ‘Performance Management Program’의 교육 내용은 ‘직원 업무 목표 수립’, ‘피드백 제공 및 동기부여’, ‘직원 업무 성과 측정’, ‘문제 해결’ 및 ‘직원 상담’ 등의 모듈들로 구성되었으며, 스킬연습 중심의 교육과 과제를 통한 실제 현업에서의 문제 해결 학습을 포함하였다.
액션플랜의 작성
교육 참가자들은 일주일간의 집합교육이 종료된 후, 교육을 통해 습득한 스킬을 현업에서 체계적이고 효과적으로 적용하기 위한 액션플랜을 작성하고 실천하였다. 교육 참가자들이 작성한 액션플랜은 현업적용 도구로서 활용되었을 뿐만 아니라, Level 3 현업적용도 평가와 Level 4 경영성과 기여도 평가를 위한 자료 수집의 도구로도 활용되었다. 액션플랜은 ‘성과지표의 달성 목표’, ‘구체적인 행동계획’, ‘성과지표의 변화에 대한 교육의 기여도’, 그리고 ‘성과지표의 변화에 대한 금전적인 가치’ 등의 항목으로 구성되었으며, 교육 참가자들은 사전에 매니저와 협의로 선정한 지표들의 성과목표를 달성하기 위한 구체적인 행동계획을 액션플랜에 작성하였고, 성과 향상에 대한 금전적인 가치를 계산하고, 향상된 성과의 가치에서 교육의 효과를 분리하였다. 교육 참가자들이 액션플랜을 효과적으로 작성하고 실천하게 하려고 액션플랜의 작성방법을 교육 전부터 교육이 종료되는 시점까지 여러 차례에 걸쳐 설명해 주었으며, 매장의 매니저로부터 액션플랜의 작성 및 수행에 대한 지속적인 코칭을 받으며 현업적용 활동을 수행하였다.
평가 데이터의 수집과정 및 결과
가. Level 1 학습자 만족도
교육 종료 직후, 설문지를 활용하여 학습자 만족도를 측정하였다. 설문의 결과는 [표 1]과 같으며, ‘새로운 정보’와 ‘교육 과정 콘텐츠 만족도’를 제외한 나머지 항목에서 모두 목표 점수인 4.0점을 달성하였다.
나. Level 2 학습 목표 성취도
교육 참가자들의 지식과 스킬의 변화를 측정하기 위하여 교육 종료 직후, 교육 참가자들 스스로 자신의 지식과 스킬의 변화를 평가하는 ‘자기평가설문’과 강사가 교육 참가자들의 지식과 스킬의 변화를 평가하는 ‘강사 평가’를 실시하였다. 주요 학습 목표였던 ‘직원 업무 목표 수립’, ‘피드백 제공 및 동기부여’, ‘직원 업무성과 측정’, ‘문제 해결’, 그리고 ‘상담 스킬’의 모든 영역에서 모든 참가자가 높은 수준의 스킬 수행을 보였다. 하지만 자기평가와 강사평가 모두 객관적인 평가 지표 없이 주관적인 평가만 이루어짐에 따라 스킬 수행의 점수를 수치화하여 평가하지는 않았다.
다. Level 3 현업 적용도
교육 참가자들이 얼마나 자주, 그리고 효과적으로 교육 내용을 현업에 적용하였는가를 평가하고, 학습 전이의 장애요인과 촉진요인을 확인하기 위하여 교육 종료 3개월 후, 교육 참가자 대상 설문을 하였다. 설문 결과, 많은 교육 참가자들이 액션플랜에 기재한 성과지표의 달성 목표를 초과 달성하였다고 응답하여, 높은 현업 적용도를 확인할 수 있었다. 또한, 교육 참가자들은 ‘매장 매니저의 적극적인 협력’과 ‘액션플랜의 사용에 대한 자세한 교육’을 가장 도움이 많이 되었던 촉진요인으로 선정하였으며, 학습 전이의 장애요인으로는 ‘시간부족’, ‘교육 내용의 이해 부족’, ‘문화의 변화’, 그리고 ‘팀원들의 협력 부족’ 등을 지적하였다.
라. Level 4 경영 성과 기여도
교육의 경영성과에 대한 기여도는, 교육 종료 6개월 후, 매장별로 목표로 하였던 세 가지 성과지표의 변화를 교육 참가자들이 매장의 매니저와 함께 액션플랜에 기록한 내용을 통해 평가하였다. 교육을 통해 향상된 성과지표는 ‘인건비 감소’, ‘결근율 감소’, ‘퇴사율 감소’, ‘재고비용감소’ 및 ‘생산비용의 감소’ 등 다양하였으며, 교육 참가자들은 매장의 매니저와 함께 액션플랜을 이용하여 교육 후 향상된 성과지표의 총 변화를 금전적인 가치로 전환하였고, ‘참가자 추정’의 방법을 이용하여, 금전적인 가치로 전환된 성과지표의 총 가치 중에서 교육의 효과만을 분리하였다. 또한, 추정치의 잠재적 오류를 조정하기 위하여 추정치에 대한 신뢰도를 함께 조사하여 반영하였다. 다음은 한 교육 참가자가 교육의 결과로 결근율이 2.5% 감소하였음을 보고한 액션플랜의 내용 중에서 결근율 감소의 효과를 금전적인 가치로 전환하고 교육의 효과를 분리한 과정을 정리한 것이다.
① 직원 1인당 연간 평균 근무일 수 220일 중에서 결근율이 2.5%감소하였으므로 220일에 2.5%를 곱하여 직원 1인당 연간 감소한 결근 일수를 산출하였다.
② 매장 전체 직원의 연간 감소한 결근 일수를 산출하기 위하여 직원 1인당 연간 감소한 결근 일수에 매장의 직원 수 40(명)을 곱하였다.
③ 1일 결근 감소의 금전적인 가치를 직원 1인당 1일의 급여인 $41.00으로 보고, 매장 전체 직원의 연간 감소한 결근 일수에 $41.00를 곱하여 결근율 감소의 효과를 금전적인 가치로 전환하였다.
④ 교육의 효과만을 분리하기 위하여, 교육 참가자가 액션플랜에 기재한 교육 효과 추정치 65%를 곱하였다.
⑤ 교육 효과 추정치의 잠재적 오류를 조정하기 위하여 추정치에 대한 신뢰도 80%를 곱하였다.
교육의 금전적인 총 가치
액션플랜을 이용하여 교육 참가자들이 개별적으로 세 가지씩 선정한 성과지표의 향상된 가치를 모두 금전적인 가치로 전환하고 교육의 효과를 분리하였다. [표2]는 성과지표별로 집계한 교육 효과의 총 금전적 가치이다.
비용의 집계
ROI를 산출하기 위하여 교육 과정의 개발, 실행 및 평가 과정에서 소요된 모든 직접 및 간접비용을 집계하였다. 니즈분석 비용과 프로그램 개발비용은 본 교육 과정이 지속하는 동안 균등하게 분배되어야 하기에 본 교육 과정의 지속기간인 3년에 연간 교육시간인 10을 곱한 값인 30(시간)으로 나누어서 집계하였다. 구체적인 비용 항목은 다음과 같다.
무형의 효과
금전적 가치로 전환하지 않았지만, 교육 참가자들이 설문지와 액션플랜을 통해 교육의 효과로 향상되었다고 밝힌 무형의 효과는 다음과 같다.
● 성취감의 향상 ● 자신감의 증대 ● 직무 만족도의 증가 ● 스트레스 감소 ● 팀워크의 향상
평가 결과의 보고
본 교육 과정의 가치와 중요성을 조직 내에서 공유하기 위하여임원, 매장 매니저, 교육 참가자, 그리고 향후 교육 참가자에게도 본 교육의 평가 결과를 보고하였다. 향후 교육 참가자들에게 본 교육의 평가 결과를 보고한 이유는, 평가 결과를 참고하여 매장에서 향상해야 하는 성과지표를 미리 파악하게 하기 위함이었다.
각 이해관계자 별로 평가 결과를 보고한 방법과 시기는 다음과 같다.
결론 및 시사점
본 사례에서는 액션플랜이 교육참가자들의 현업적용을 도와주는 도구로서 중요한 역할을 했을 뿐 아니라, Level 3 현업적용도 평가와 Level 4 경영 성과 기여도 평가를 위한 자료 수집의 도구로서 활용된 예를 보여주었다. 교육 참가자들은 액션플랜을 활용하여 스스로 행동 계획을 수립하고, 평가에 필요한 데이터를 제공함으로써 더 많은 책임감을 가지고, 교육과 현업적용 활동을 수행할 수 있었다. 또한, 액션플랜을 통해 수집된 데이터를 활용하여 향상된 성과 중에서 교육의 효과만을 분리하고 분리된 교육의 효과를 금전적인 가치로 전환할 수 있었다. 더불어, 평가 결과를 조직 내의 다양한 이해관계자들과 소통함으로써 본 교육의 성과를 전 조직적으로 공유할 수 있었다.
액션플랜은 교육 참가자로 하여금 현업적용 활동을 주도해 나가는 책임감을 갖게 함으로써 교육의 효과가 현업에서 계속 연결될 수 있도록 하는데 매우 효과적인 도구로 활용될 수 있다. Phillips 박사의 5단계 평가모형인 The Phillips ROI MethodologyTM에서는 평가의 모든 단계에서 액션플랜을 데이터의 수집을 위한 도구로
써 적극 활용하며, 교육 참가자들이 액션플랜을 성과목표 달성에 효과적으로 사용할 수 있도록 도와주기 위한 체계적인 가이드라인을 제공한다. 이처럼 액션플랜의 활용이 단순히 학습자들의 행동을 계획하기 위한 도구에서 그치지 않고, 성과지표와 연계되어 구체적인 성과목표를 달성하기 위한 전략적인 도구로 활용될 수 있을 때 액션플랜의 활용 가치는 더 높아질 것이다.
글 안정훈 알오아이인 대표
