기업의 성과에서 교육의 효과를 분리하기 위해서는 실제로 많은 어려움이 따르지만, HRD의 성과를 평가하는 과정에서 교육의 효과를 신뢰도 높게 분리해, 비즈니스 성과에 대한 교육의 기여도를 결정하는 과정은 반드시 필요하다. 필립스(Phillips)박사의 5단계 교육효과 평가모형인 The ROI Methogology에서는 기업의 성과에 대한 교육의 기여도를 다른 요인들로부터 신뢰도 높게 분리하는 방법으로 아래의 표와 같은 10가지의 방법을 제시하고 있다.
<교육효과 분리방법>
1. 통제집단 활용법
2. 추세선 분석법
3. 예측기법의 활용
4. 참가자 추정법
5. 경영층 추정법
6. 직속강사 추정법
7. 전문가 추정법
8. 연구자료 활용법
9. 기타요인에 의한 효과 산정법
10. 고객의견 활용법
본고에서는 교육효과 분리방법 중 전 세계적으로 가장 많이 활용되고 있는 통제집단 활용법, 추세선 분석법 및 추정치의 활용법에 대해서 자세하게 알아보겠다.
1. 통제집단 활용법
교육효과 분리방법 중 가장 신뢰도 높은 방법은 통제집단을 활용하는 방법이다. 이 방법은 교육에 참가하는 사람으로 구성된 실험집단의 성과를 교육에 참가하지 않은 사람으로 구성된 통제집단의 성과와 비교하는 것이다. 두 집단의 구성은 최대한 동일하게 구성해야 하며, 가능하다면 각 집단의 참가자들은 무작위로 선정돼야 한다. 이렇게 두 집단이 구성된 후, 두 집단이 동일한 환경 영향에 놓이게 되면 두 집단의 성과 차이는 교육에서 비롯된 것이라고 합리적으로 판단할 수 있다.
예를 들어, 한 병원에서 간호사들의 이직률 감소를 위한 교육을 실시한 후, 통제집단 활용법을 통해 교육의 효과를 분리했다. 실험집단은 이직률 감소를 목적으로 개발된 리더십 교육 과정에 참여한 매니저들로 구성됐으며, 통제집단은 이직률에 영향을 주는 요인들, 즉, 현재 이직률, 병원에서의 근무 기간, 나이, 가족 상태, 성과 등급 등의 요인들을 최대한 동일하게 갖고 있는 매니저들로 선정됐다. 교육의 효과를 분리한 결과, 통제집단과 실험집단의 이직률에는 유의미한 차이가 있었으며, 이는 이직률 감소 교육의 효과를 보여줬다.
하지만, 통제집단 활용법은 실제로 적용하기에 까다로운 몇 가지 문제를 지니고 있다. 가장 중요한 문제는 통제집단의 선정 과정이다. 이론적 관점에서 생각해 보면, 동일한 통제집단 및 실험집단을 설정하는 것은 거의 불가능하다. 수십 개의 요인이 성과에 영향을 미치며 그것들 중 일부는 개별적이고 일부는 상호 관련돼 있다. 이러한 문제를 실용적인 근거 하에 다루기 위해서는 파레토 원칙의 개념을 사용해서 성과에 가장 큰 영향을 미치는 3~6개의 요인을 선택해야 한다. 예를 들어서, 한 기업의 영업팀을 위한 교육의 효과를 분리하기 위해 통제집단 활용법이 사용됐다. 교육은 지역 판매 매니저, 경리 부장, 거래처 담당 임원, 판매 외판원 등을 포함했다. 성과지표는 목표 매출의 달성, 이윤 할당량 달성, 마진율 향상, 다양한 판매량 등이었다. 교육에 참여하는 실험집단의 선정은 교육에 참여하지 않은 통제집단의 설정에 신중하게 맞췄으며, 회사의 데이터베이스를 사용해 무작위로 통제집단 참가자와 실험집단 참가자의 수를 일치시켰다. 통제집단과 실험집단의 동일성을 보장하기 위해서 직무, 직책, 경험 등의 세 가지 기준에 맞춰서 참가자를 선택했다. 이와 같이, 교육이 목표로 하는 성과지표에 영향을 줄 수 있는 가장 중요한 요인을 3~6개 정도 신중하게 선정한 후, 이러한 요인들을 최대한 동일하게 갖고 있는 구성원들을 통제집단과 실험집단으로 선정하는 방법을 사용했을 때 통제집단 활용법의 결과를 신뢰도 높게 받아들일 수 있다.
2. 추세선 분석법
추세선 분석법은 기존의 성과를 토대로 미래의 성과를 추정하는 추세선을 그린 후, 교육 종료 후에 실제 성과를 추세선의 추정과 비교하는 방법이다. 추세선이 추정한 성과에 대비되는 모든 성과 개선은 교육과정의 실행에서 비롯됐다고 합리적으로 판단할 수 있다. 단, 이와 같은 추세선 분석법을 사용하기 위해서는 다음과 같은 두 가지의 조건이 충족돼야 한다. 1) 교육 전 최소한 6개월 동안의 데이터가 확보돼야 하며, 데이터는 합리적인 수준의 안정성을 가지고 있어야 한다(일정한 추세에 따라 변화해야 한다). 2) 평가기간 동안 교육 이외에 성과지표에 영향을 주는(교육 전에는 없었던 새로운) 요인이 발생해서는 안 된다. 이 두 가지 조건이 충족이 된다면, 추세선 분석법에 의한 교육 효과의 분리 결과를 신뢰도 높게 받아들일 수 있다.
예를 들어, 한 선박물류회사에서 팀훈련 교육을 실시한 후, ‘선적비율’이라는 성과지표에 대한 교육의 효과를 추세선 분석법을 통해 분리했다. 아래의 그래프와 같이, 교육은 7월에 실시됐으며, 교육이 실시되기 전 6개월 동안의 선적비율에 대한 데이터를 이용해 교육 후 선적비율의 추세선을 그렸다. 교육이 종료 된 후, 평가가 진행되는 6개월 동안 선적비율에 영향을 미치는 새로운 요인이 발생하지 않았음을 확인했고, 실제 선적비율의 데이터와 추세선 데이터의 평균을 비교해 교육의 효과를 분리했다(교육 후 실제 선적비율의 평균 – 교육 후 추세 추정치 평균).
3. 추정치의 활용
교육효과의 분리 방법 중 가장 활용빈도가 높은 방법은 신뢰할만한 출처로부터의 추정치를 활용하는 방법이다. 추정치의 사용은 일반적으로 주관적이고 신뢰도가 낮은 방법로 인식되기 때문에, 그 신뢰성을 최대한 끌어올리기 위해서 가능한 모든 조치를 취해야 한다. 다행스럽게도, 몇 가지의 예방 조치가 취해진다면 추정치를 매우 신뢰할만한 수준으로 끌어올릴 수 있다. 추정치를 사용하는 방법의 가장 중요한 시작점은, 추정치가 가장 신뢰할만한 대상자로부터 수집됐다는 것을 보장하는 것이다. 일반적으로, 교육 과정에 직접적으로 참여한 참가자는 우리가 가장 신뢰할 수 있는 대상자이다. 또한, 참가자의 직속상사, 고객, 외부 전문가 등의 세 가지 주체가 신뢰도 높은 추정치의 데이터를 제공해 줄 수 있다. 이러한 추정치를 제공하는 대상자는 반드시 교육이 성과 지표에 어떻게 영향을 주었는지 명확하게 이해할 수 있는 사람이어야 한다.
이 중에서 참가자 추정법은 교육의 효과를 가장 잘 알고 있는 교육 참가자들로부터 교육의 효과에 대한 직접적인 정보를 얻는 방법으로써 가장 활용빈도가 높은 방법이다. 단, 이 방법은 교육 참가자들이 얼마나 많은 성과 개선사항이 교육과 연관돼 있는지 충분히 신뢰도 높게 추정 또는 결정할 수 있는 능력을 갖고 있다는 가정에 의존한다. 즉, 참가자들은 얼마나 많은 성과의 변화가 교육을 통한 변화인지 신뢰도 높게 확인할 수 있어야 한다. 교육 참가자 이외에도 참가자의 직속상사, 경영층, 고객, 외부 전문가 등 성과의 변화에 대한 교육의 기여도를 신뢰도 높게 추정할 수 있는 대상자를 선정해 추정의 데이터를 수집할 수 있다. 추정의 데이터는 추정치의 오류 또는 주관성에 대한 신뢰도를 최대한 개선하기 위해 다음과 같은 일련의 단계를 통해 수집한다.
1. 성과의 개선에 기여한 요인들은 무엇인가?
2. 위의 1번에서 기술한 요인들이 성과 개선에 기여한 정도는 각각 몇%인가?(총합이 100%가 되도록 기술)
3. 위의 2번에서 기술한 요인들의 기여도 중 교육의 기여도는 몇%인가?
4. 위의 3번에서 제시한 교육의 기여도에 대한 추정치에 어느 정도의 신뢰도(%)를 부여하겠는가? (0%= 신뢰도 없음, 100%= 완전한 신뢰)위의 질문들을 통해 성과의 변화에 기여한 요인들에 대한 데이터를 수집한 후, 아래와 같은 계산식을 이용해 교육의 효과를 계산한다.
“교육의 효과 = 교육의 기여도 x 신뢰도”
이렇게 계산한 교육의 효과를 성과 변화의 데이터에 반영해 성과 변화에 대한 교육의 효과를 분리한다. 즉, 성과지표의 변화가 20%였고, 교육의 기여도가 30%, 교육의 기여도에 대한 신뢰도가 80%였다면, 성과지표의 변화에 대한 교육의 효과는 20% x 30% x 80%로 계산해 4.8%가 된다. 예를 들어, 한 레스토랑 체인점에서는 신입 매니저들에 대한 매니저 교육을 실시한 후, 교육의 효과를 교육참가자(신입 매니저) 및 직속상사(기존 매니저)에 의한 추정의 방법을 통해 분리했다. 아래의 표에서 볼 수 있듯이, 성과지표의 변화에 대해 교육참가자와 직속상사에게 모두 교육의 기여도에 대한 추정치를 수집한 후, 보수적인 접근방법을 통해 두 추정치 중 낮은 추정치를 선택하는 방법과 두 추정치의 평균치를 사용하는 방법 중 선택해서 적용했다. 이 예시에서는, 참가자와 직속상사가 모두 성과지표의 변화에 대한 교육의 기여도를 신뢰도 높게 추정할 수 있다는 전제가 있었기에 두 그룹으로부터 수집한 데이터를 활용할 수 있었다.
교육의 효과를 분리할 수 있는 많은 방법들 중에서 특정 교육과정 및 성과지표에 가장 알맞은 방법을 선택하는 것은 쉽지 않다. 몇몇의 방법은 간단하고 적은 비용으로 활용할 수 있는 반면에 몇몇의 방법은 더 많은 시간과 비용을 요구한다. 교육과정 및 성과지표에 최적화된 교육효과 분리 방법을 선택하기 위해 다음과 같은 요인들이 고려돼야 한다.
1. 교육효과 분리방법의 실제 활용 가능성
2. 교육효과 분리방법의 정확도 및 신뢰도
3. 교육효과 분리방법 실행의 구체적인 비용
4. 교육효과 분리방법을 실행함에 따른 정상 근무 활동에 방해되는 정도
5. 특정 교육효과 분리방법에 필요한 참가자, 스태프, 관리자의 시간 등
본고에서 살펴본 통제집단 활용법, 추세선 분석법, 신뢰할만한 출처로부터의 추정 등의 교육효과 분리방법은 다양한 분야에서 교육의 효과를 분리하기 위해 가장 많이 활용되고 있는 방법들이다. 안타깝게도, 너무나 많은 기업에서 성과의 개선사항에 반영된 교육의 효과를 정확하게 분리하려는 시도 없이 성과 향상의 결과가 교육과 연결됐다고 보고되는 경우가 흔하다. 기업의 성과에 대한 교육의 기여도는 반드시 체계적이고 신뢰도가 검증된 방법을 통해 분리돼야 한다. 하지만, 사전에 철저한 계획과 준비 없이 짧은 시일 이내에 교육의 긍정적 가치를 보여주는 것은 거의 불가능한 경우가 대부분이다. 따라서, 교육과정의 기획단계에서부터 교육과정 및 성과지표의 특성을 고려해 가장 비용이 효율적이면서도 신뢰도 높게 교육의 효과를 분리하는 방법을 선정해 평가 전략을 수립할 필요가 있다.
안정훈 알오아이인스티튜트코리아 대표
미국 Columbia University에서 교육공학 박사학위를 취득했고, 현대경제연구원, KB국민은행 인재개발원에서 교육과정 기획 및 개발업무를 담당했다. Jack Phillips 박사의 ROI Institude 한국법인인 ROI Institude Korea대표로서, 교육효과평가 및 성과중심 교육과정개발과 관련된 다양한 강연, 저술 및 컨설팅 활동을 진행하고 있다.
