COLUMN

기업의 성과에서 교육의 효과를 분리하기 위해서는 실제로 많은 어려움이 따르지만, HRD의 성과를 평가하는 과정에서 교육의 효과를 신뢰도 높게 분리해, 비즈니스 성과에 대한 교육의 기여도를 결정하는 과정은 반드시 필요하다. 필립스(Phillips)박사의 5단계 교육효과 평가모형인 The ROI Methogology에서는 기업의 성과에 대한 교육의 기여도를 다른 요인들로부터 신뢰도 높게 분리하는 방법으로 아래의 표와 같은 10가지의 방법을 제시하고 있다. <교육효과 분리방법> 1. 통제집단 활용법 2. 추세선 분석법 3. 예측기법의 활용 4. 참가자 추정법 5. 경영층 추정법 6. 직속강사 추정법 7. 전문가 추정법 8. 연구자료 활용법 9. 기타요인에 의한 효과 산정법 10. 고객의견 활용법 본고에서는 교육효과 분리방법 중 전 세계적으로 가장 많이 활용되고 있는 통제집단 활용법, 추세선 분석법 및 추정치의 활용법에 대해서 자세하게 알아보겠다. 1. 통제집단 활용법 교육효과 분리방법 중 가장 신뢰도 높은 방법은 통제집단을 활용하는 방법이다. 이 방법은 교육에 참가하는 사람으로 구성된 실험집단의 성과를 교육에 참가하지 않은 사람으로 구성된 통제집단의 성과와 비교하는 것이다. 두 집단의 구성은 최대한 동일하게 구성해야 하며, 가능하다면 각 집단의 참가자들은 무작위로 선정돼야 한다. 이렇게 두 집단이 구성된 후, 두 집단이 동일한 환경 영향에 놓이게 되면 두 집단의 성과 차이는 교육에서 비롯된 것이라고 합리적으로 판단할 수 있다. 예를 들어, 한 병원에서 간호사들의 이직률 감소를 위한 교육을 실시한 후, 통제집단 활용법을 통해 교육의 효과를 분리했다. 실험집단은 이직률 감소를 목적으로 개발된 리더십 교육 과정에 참여한 매니저들로 구성됐으며, 통제집단은 이직률에 영향을 주는 요인들, 즉, 현재 이직률, 병원에서의 근무 기간, 나이, 가족 상태, 성과 등급 등의 요인들을 최대한 동일하게 갖고 있는 매니저들로 선정됐다. 교육의 효과를 분리한 결과, 통제집단과 실험집단의 이직률에는 유의미한 차이가 있었으며, 이는 이직률 감소 교육의 효과를 보여줬다. 하지만, 통제집단 활용법은 실제로 적용하기에 까다로운 몇 가지 문제를 지니고 있다. 가장 중요한 문제는 통제집단의 선정 과정이다. 이론적 관점에서 생각해 보면, 동일한 통제집단 및 실험집단을 설정하는 것은 거의 불가능하다. 수십 개의 요인이 성과에 영향을 미치며 그것들 중 일부는 개별적이고 일부는 상호 관련돼 있다. 이러한 문제를 실용적인 근거 하에 다루기 위해서는 파레토 원칙의 개념을 사용해서 성과에 가장 큰 영향을 미치는 3~6개의 요인을 선택해야 한다. 예를 들어서, 한 기업의 영업팀을 위한 교육의 효과를 분리하기 위해 통제집단 활용법이 사용됐다. 교육은 지역 판매 매니저, 경리 부장, 거래처 담당 임원, 판매 외판원 등을 포함했다. 성과지표는 목표 매출의 달성, 이윤 할당량 달성, 마진율 향상, 다양한 판매량 등이었다. 교육에 참여하는 실험집단의 선정은 교육에 참여하지 않은 통제집단의 설정에 신중하게 맞췄으며, 회사의 데이터베이스를 사용해 무작위로 통제집단 참가자와 실험집단 참가자의 수를 일치시켰다. 통제집단과 실험집단의 동일성을 보장하기 위해서 직무, 직책, 경험 등의 세 가지 기준에 맞춰서 참가자를 선택했다. 이와 같이, 교육이 목표로 하는 성과지표에 영향을 줄 수 있는 가장 중요한 요인을 3~6개 정도 신중하게 선정한 후, 이러한 요인들을 최대한 동일하게 갖고 있는 구성원들을 통제집단과 실험집단으로 선정하는 방법을 사용했을 때 통제집단 활용법의 결과를 신뢰도 높게 받아들일 수 있다. 2. 추세선 분석법 추세선 분석법은 기존의 성과를 토대로 미래의 성과를 추정하는 추세선을 그린 후, 교육 종료 후에 실제 성과를 추세선의 추정과 비교하는 방법이다. 추세선이 추정한 성과에 대비되는 모든 성과 개선은 교육과정의 실행에서 비롯됐다고 합리적으로 판단할 수 있다. 단, 이와 같은 추세선 분석법을 사용하기 위해서는 다음과 같은 두 가지의 조건이 충족돼야 한다. 1) 교육 전 최소한 6개월 동안의 데이터가 확보돼야 하며, 데이터는 합리적인 수준의 안정성을 가지고 있어야 한다(일정한 추세에 따라 변화해야 한다). 2) 평가기간 동안 교육 이외에 성과지표에 영향을 주는(교육 전에는 없었던 새로운) 요인이 발생해서는 안 된다. 이 두 가지 조건이 충족이 된다면, 추세선 분석법에 의한 교육 효과의 분리 결과를 신뢰도 높게 받아들일 수 있다. 예를 들어, 한 선박물류회사에서 팀훈련 교육을 실시한 후, ‘선적비율’이라는 성과지표에 대한 교육의 효과를 추세선 분석법을 통해 분리했다. 아래의 그래프와 같이, 교육은 7월에 실시됐으며, 교육이 실시되기 전 6개월 동안의 선적비율에 대한 데이터를 이용해 교육 후 선적비율의 추세선을 그렸다. 교육이 종료 된 후, 평가가 진행되는 6개월 동안 선적비율에 영향을 미치는 새로운 요인이 발생하지 않았음을 확인했고, 실제 선적비율의 데이터와 추세선 데이터의 평균을 비교해 교육의 효과를 분리했다(교육 후 실제 선적비율의 평균 – 교육 후 추세 추정치 평균). 3. 추정치의 활용 교육효과의 분리 방법 중 가장 활용빈도가 높은 방법은 신뢰할만한 출처로부터의 추정치를 활용하는 방법이다. 추정치의 사용은 일반적으로 주관적이고 신뢰도가 낮은 방법로 인식되기 때문에, 그 신뢰성을 최대한 끌어올리기 위해서 가능한 모든 조치를 취해야 한다. 다행스럽게도, 몇 가지의 예방 조치가 취해진다면 추정치를 매우 신뢰할만한 수준으로 끌어올릴 수 있다. 추정치를 사용하는 방법의 가장 중요한 시작점은, 추정치가 가장 신뢰할만한 대상자로부터 수집됐다는 것을 보장하는 것이다. 일반적으로, 교육 과정에 직접적으로 참여한 참가자는 우리가 가장 신뢰할 수 있는 대상자이다. 또한, 참가자의 직속상사, 고객, 외부 전문가 등의 세 가지 주체가 신뢰도 높은 추정치의 데이터를 제공해 줄 수 있다. 이러한 추정치를 제공하는 대상자는 반드시 교육이 성과 지표에 어떻게 영향을 주었는지 명확하게 이해할 수 있는 사람이어야 한다. 이 중에서 참가자 추정법은 교육의 효과를 가장 잘 알고 있는 교육 참가자들로부터 교육의 효과에 대한 직접적인 정보를 얻는 방법으로써 가장 활용빈도가 높은 방법이다. 단, 이 방법은 교육 참가자들이 얼마나 많은 성과 개선사항이 교육과 연관돼 있는지 충분히 신뢰도 높게 추정 또는 결정할 수 있는 능력을 갖고 있다는 가정에 의존한다. 즉, 참가자들은 얼마나 많은 성과의 변화가 교육을 통한 변화인지 신뢰도 높게 확인할 수 있어야 한다. 교육 참가자 이외에도 참가자의 직속상사, 경영층, 고객, 외부 전문가 등 성과의 변화에 대한 교육의 기여도를 신뢰도 높게 추정할 수 있는 대상자를 선정해 추정의 데이터를 수집할 수 있다. 추정의 데이터는 추정치의 오류 또는 주관성에 대한 신뢰도를 최대한 개선하기 위해 다음과 같은 일련의 단계를 통해 수집한다. 1. 성과의 개선에 기여한 요인들은 무엇인가? 2. 위의 1번에서 기술한 요인들이 성과 개선에 기여한 정도는 각각 몇%인가?(총합이 100%가 되도록 기술) 3. 위의 2번에서 기술한 요인들의 기여도 중 교육의 기여도는 몇%인가? 4. 위의 3번에서 제시한 교육의 기여도에 대한 추정치에 어느 정도의 신뢰도(%)를 부여하겠는가? (0%= 신뢰도 없음, 100%= 완전한 신뢰)위의 질문들을 통해 성과의 변화에 기여한 요인들에 대한 데이터를 수집한 후, 아래와 같은 계산식을 이용해 교육의 효과를 계산한다. “교육의 효과 = 교육의 기여도 x 신뢰도” 이렇게 계산한 교육의 효과를 성과 변화의 데이터에 반영해 성과 변화에 대한 교육의 효과를 분리한다. 즉, 성과지표의 변화가 20%였고, 교육의 기여도가 30%, 교육의 기여도에 대한 신뢰도가 80%였다면, 성과지표의 변화에 대한 교육의 효과는 20% x 30% x 80%로 계산해 4.8%가 된다. 예를 들어, 한 레스토랑 체인점에서는 신입 매니저들에 대한 매니저 교육을 실시한 후, 교육의 효과를 교육참가자(신입 매니저) 및 직속상사(기존 매니저)에 의한 추정의 방법을 통해 분리했다. 아래의 표에서 볼 수 있듯이, 성과지표의 변화에 대해 교육참가자와 직속상사에게 모두 교육의 기여도에 대한 추정치를 수집한 후, 보수적인 접근방법을 통해 두 추정치 중 낮은 추정치를 선택하는 방법과 두 추정치의 평균치를 사용하는 방법 중 선택해서 적용했다. 이 예시에서는, 참가자와 직속상사가 모두 성과지표의 변화에 대한 교육의 기여도를 신뢰도 높게 추정할 수 있다는 전제가 있었기에 두 그룹으로부터 수집한 데이터를 활용할 수 있었다. 교육의 효과를 분리할 수 있는 많은 방법들 중에서 특정 교육과정 및 성과지표에 가장 알맞은 방법을 선택하는 것은 쉽지 않다. 몇몇의 방법은 간단하고 적은 비용으로 활용할 수 있는 반면에 몇몇의 방법은 더 많은 시간과 비용을 요구한다. 교육과정 및 성과지표에 최적화된 교육효과 분리 방법을 선택하기 위해 다음과 같은 요인들이 고려돼야 한다. 1. 교육효과 분리방법의 실제 활용 가능성 2. 교육효과 분리방법의 정확도 및 신뢰도 3. 교육효과 분리방법 실행의 구체적인 비용 4. 교육효과 분리방법을 실행함에 따른 정상 근무 활동에 방해되는 정도 5. 특정 교육효과 분리방법에 필요한 참가자, 스태프, 관리자의 시간 등 본고에서 살펴본 통제집단 활용법, 추세선 분석법, 신뢰할만한 출처로부터의 추정 등의 교육효과 분리방법은 다양한 분야에서 교육의 효과를 분리하기 위해 가장 많이 활용되고 있는 방법들이다. 안타깝게도, 너무나 많은 기업에서 성과의 개선사항에 반영된 교육의 효과를 정확하게 분리하려는 시도 없이 성과 향상의 결과가 교육과 연결됐다고 보고되는 경우가 흔하다. 기업의 성과에 대한 교육의 기여도는 반드시 체계적이고 신뢰도가 검증된 방법을 통해 분리돼야 한다. 하지만, 사전에 철저한 계획과 준비 없이 짧은 시일 이내에 교육의 긍정적 가치를 보여주는 것은 거의 불가능한 경우가 대부분이다. 따라서, 교육과정의 기획단계에서부터 교육과정 및 성과지표의 특성을 고려해 가장 비용이 효율적이면서도 신뢰도 높게 교육의 효과를 분리하는 방법을 선정해 평가 전략을 수립할 필요가 있다. 안정훈 알오아이인스티튜트코리아 대표 미국 Columbia University에서 교육공학 박사학위를 취득했고, 현대경제연구원, KB국민은행 인재개발원에서 교육과정 기획 및 개발업무를 담당했다. Jack Phillips 박사의 ROI Institude 한국법인인 ROI Institude Korea대표로서, 교육효과평가 및 성과중심 교육과정개발과 관련된 다양한 강연, 저술 및 컨설팅 활동을 진행하고 있다.

많은 지원자들이 채용의 첫 번째 관문이라 할 수 있는 ‘서류전형’을 가장 높은 관문으로 여기고 있다. 흔히 이야기하는 취업 9대 스펙(학벌, 학점, 어학연수, 토익, 자격증, 봉사활동, 인턴경력, 수상경력, 대외활동)을 대체로 서류전형에서 검증하고 있기 때문이다. 이러한 서류전형이 NCS(National Competency Standard; 국가직무능력표준, 이하 NCS)기반 능력중심 채용이 확산되면서 어떻게 변화하고 있는지가 NCS 기반 채용의 주요 화두가 되고 있다. NCS 기반의 서류전형은 올해 130개 공공기관에서 도입했으며, 민간기업의 경우, NCS 기반은 아니더라도 직무능력중심, 직무와 유관한 스펙중심의 서류전형으로 변화를 꾀했다. 최근, 전국경제인연합회에서 주요 21개 그룹의 올해 대졸공채제도를 분석한 결과, 삼성·현대차·SK·LG 등 20개 그룹은 지원서류에 학점·어학성적·자격증·직무와 무관한 개인정보 등의 항목을 삭제하거나 간소화한 것으로 나타났다. 공공기관 및 민간기업 모두 서류전형 관문의 문턱을 낮추고, 많은 지원자들에게 공정하고 적합한 기회를 제공할 수 있도록 직무와 무관한 스펙을 배제하고, 직무와 유관한 스펙만을 검증하는 방향으로 서류전형을 변화시켜 나가고 있는 것이다. 그렇다면, NCS 기반 서류전형은 구체적으로 무엇을 의미하며, 어떻게 도입 및 적용해야할까? 이번 호에서는 이 부분에 대해 집중적으로 다루고자 한다. NCS 기반 모집공고와 서류전형의 의미와 목적 NCS 기반 서류전형의 모태가 되는 것은 모집단계에서 모집공고와 함께 게시하는 NCS 기반의 직무기술서라 할 수 있다. NCS 기반의 직무기술서는 채용 직무분야 및 직무요건들을 명확히 제시함으로써 조직이 필요로 하는 적합한 인재들이 지원하도록 유도한다. NCS 기반의 직무기술서는 서류전형뿐만 아니라 필기전형, 면접전형에도 영향을 미치는데, 특히, 서류전형에서는 직무기술서에 포함되어 있는 필요 지식, 기술, 태도, 주요 요구 직업기초능력, 자격 요건을 직?간접적으로 검증할 수 있도록 서류전형 도구를 설계 및 개발한다. 여기서 서류전형의 목적은 일반적으로 보다 정교한 선발과정을 적용할 적절한 수의 지원자들을 선별하기 위한 것이다. 필기전형 및 면접전형의 효율성을 위해 최소한의 지원 자격 요건도 갖추지 않은 부적합한 지원자를 탈락시키는 과정이라고도 할 수 있다. NCS 기반 서류전형에서는 채용 직무분야에 적합한 인재를 선별해내는 데 그 목적이 있으며, 채용 공고에 게시한 채용직무분야별 NCS 기반 직무기술서에 명시한 직업기초능력과 직무수행능력을 직?간접적으로 검증할 수 있도록 입사지원서와 자기소개서 항목을 설계한다. NCS 기반 서류전형 도구 주요 특징 및 활용 직무에 기반하지 않은 입사지원서는 지원자에 초점을 두게 되므로 인적 사항이나 개인적 정보 중심으로 항목이 구성되어, 직무수행 예측력이 낮다. 따라서, NCS 기반 입사지원서에서는 성공적 직무수행 예측에 도움되는 개인의 구체적인 과거 경력, 경험, 성과, 자격조건 등을 포함하고 있다. NCS 기반 입사지원서는 단순히 개인의 인적 사항을 파악하기 위한 것이 아닌, 해당 직무의 성공적 수행가능성이 높은 지원자들을 선별하기 위한 것으로, 기본 인적사항과 직무와 유관한 교육사항, 직무와 유관한 자격 사항, 직무와 유관한 경력 및 경험사항으로 구성한다. 항목별로 구체적으로 살펴보면 다음과 같다 첫째, 인적사항은 지원자를 식별, 관리하기 위한 최소한의 정보로 구성하며, 성명, 생년월일, 연락처 등 지원자의 신원확인 및 중복지원 방지를 위한 세부항목을 포함하고 있다. 둘째, 교육사항은 직무수행에 필요한 지식과 기술, 즉, NCS 세분류별 요구 지식과 기술을 갖추고 있는가를 평가하기 위한 항목으로, 학교교육과 직업교육으로 구성한다. 학교교육은 제도화된 학교 내에서 이루어지는 고등교육과정을 의미하며, 직업교육은 학교 외 기관에서 이수한 실업교육, 기능교육, 직업훈련 등을 의미한다. 셋째, 자격사항은 직무분야별로 관련 있는 자격증을 모두 명시하고, 그중 지원자가 보유한 자격증을 선택하고 기입할 수 있도록 한다. 지원자가 지원직무를 수행하는데 필요한 스킬을 가지고 있는지 판단하며, 반드시 해당직무와 관련 있는 자격만을 명시 한다 넷째, 경력사항 및 직무관련 기타 활동 항목은 지원자가 직무와 관련된 일이나 경험을 가지고 있는지 평가하기 위한 항목이다. 직무기술서상 세부직무, 즉, 채용직무분야와 관련 있는 사항을 입사지원서에 모두 명시하여, 지원자가 본인에게 해당되는 세부직무를 선택하여 기입하도록 한다. 기존의 일반적인 자기소개서가 개인의 지원동기, 성장배경, 성격적 장점 및 단점 등의 항목으로 구성되어 있다면, NCS 기반 자기소개서는 NCS직업기초능력 또는 직무수행능력과 관련된 항목에 대한 과거 경험을 기술하도록 구성되어 있다. 예를 들어, NCS직업기초능력중 직업윤리 항목과 관련하여 ‘지원자 본인이 현실과 타협하거나 편법을 사용하지 않고, 원칙대로 일을 처리하는 사람임을 가장 잘 나타내는 최근 5년 이내의 사례를 기술해 주시기 바랍니다.’와 같은 형태로 문항을 구성한다. 자기기술식 정보를 수집 및 활용하여 객관적 평가에 제약점이 있다는 점은 동일하지만, 자기소개서 구성항목이 직무와 유관한 항목으로 구성되어 있어 면접 참고자료로써의 활용도가 높다. NCS 기반 입사지원서와 자기소개서의 구성에 대해 자세히 살펴보았는데, 이러한 입사지원서와 자기소개서는 다음과 같이 두 가지 방향으로 활용된다. 첫째는 서류평가에 활용하는 것이다. 주로 입사지원서를 평가에 활용하는데, 인적사항 뿐만 아니라 교육사항과 자격사항 그리고 경력사항을 평가하여 조직에서 정한 배수만큼 다음 전형으로 통과시킨다. 둘째는 면접전형에 활용하는 것이다. 면접시 지원자에 대한 심층적인 정보를 얻을 수 있고, 지원자의 경험과 관련된 질문을 수월하게 할 수 있다는 장점이 있어 많이 활용하고 있다. NCS 기반 서류전형 절차 및 방법 NCS 기반 서류전형은 대체로 입사지원서에 대한 평가 및 심사가 이루어지며, 평가 절차 및 방법은 다음과 같다. 최소 지원 자격을 검증한 후, 지원서 항목별 평가 및 점수 환산을 실시한다. 이후 증빙 서류에 대한 확인을 거쳐 최종적으로 지원서 합격 및 불합격에 대한 의사결정을 내리게 된다. 서류심사에 해당하는 증빙 서류 확인 과정은 서류평가 이후 바로 심사를 실시하는데, 채용 단계중 지원자 인원이 가장 많아 심사에 필요한 인적, 시간적 자원이 많이 소모되므로, 채용의 효율성을 위해 면접전형 전이나 후에 실시할 것을 권한다. 구체적인 입사지원서 항목별 평가 방안은 다음과 같다. 교육사항의 경우, 이수 과목 수 및 이수 성적을 주로 평가하며, 직업교육은 이수 과목 수와 이수 시간을 평가한다. 또한 자격사항은 필수자격과 선택자격으로 구분하며, 필요시 필수자격을 보유하지 않은 지원자를 탈락시키기도 한다. 그리고 경력사항은 경력기간 구간 및 구간별 배점기준을 설정하여 평가한다. 한편, 직무관련 기타활동 사항은 객관적인 증빙이 어려우므로 점수화기보다는 면접의 참고 자료로만 활용한다. 일련의 입사지원서 평가 과정에서 가장 중요한 것은 정교하고 객관적인 평가 체계의 수립이겠지만, 이와 더불어 지원자의 올바른 입사지원서 작성을 유도하고, 불필요한 평가 데이터를 걸러내며, 오류 없는 평가방안을 마련하는 것 또한 중요하다. NCS 기반 서류전형 도입 기대효과 및 제약점 NCS 기반 서류전형을 도입하게 되면, 기관 및 기업 입장에서는 다음과 같은 효과를 기대할 수 있다. 첫째, 서류전형 단계에서 대체로 직무와 유관한 항목들로 구성되어 있어, 직무와 관련된 지식, 경험이 부족한 경우 자신 철회를 하여 허수 지원자가 줄어들고, 채용 비용이 절감될 수 있다. 둘째, 지원자들이 직무에 대한 현실적인 기대를 갖게 하여 이직률 감소효과를 기대할 수 있으며, 이직으로 발생하는 재선발 및 육성 비용이 절감된다. 셋째, 직무적응도 및 만족도가 높은 지원자 선발로 직무성과 향상을 기대할 수 있다. NCS 기반 서류전형의 도입으로 인한 기대효과는 사실상, 기관 및 기업의 채용담당자들도 직관적으로 이해하고 있지만, 막상 도입하고자할 때는 여러 제약점들로 인해 망설이는 경우가 많다. 제약점은 크게 2가지가 있다. 첫째, 직무분야별로 다른 입사지원서를 개발하고, 이를 시스템에 탑재해야 하는 어려움이다. 기존의 입사지원서는 직무공통으로 적용하였는데, 직무분야별로 입사지원서 양식이 다르다 보니 개발 및 운영의 부담이 커질 수밖에 없다는 것이다. 또한 기존 입사지원서와 양식이 완전히 다르다 보니, 기존의 시스템을 모두 바꿔야 하는데, 아직 많은 기업 및 기관에서 그 적합성이 입증된 사례를 많이 보지 못하였기에 선뜻 시스템을 바꾸지 못한다. 이러한 어려움은 초기 새로운 시스템을 도입해야 하는 상황에는 항상 당면하는 문제이다. 그런데 초기에 시스템을 구축해두면 추가적인 구축비용은 들지 않는데다 장기적으로 허수지원자 감소로 인해 줄어드는 채용 비용으로 상쇄할 수 있는 측면이 있다. 둘째, 서류전형의 핵심이라고 할 수 있는 지원서 평가의 변별력과 정교성에 대한 의문이다. NCS 기반 서류전형을 도입하고 시스템을 개선한 이후에 직면하는 채용 담당자들의 고민이기도 하다. 과연 각 항목별 평가로 인해 지원자들간의 변별력이 생기는가?’와 ‘교육사항 평가와 관련하여 특정 과목이 직무와 관련성이 높다고 이야기할 수 있는 근거는 무엇이며, 어디까지 인정을 해줘야 하나?’의 문제이다. 전자와 관련하여서는 객관적으로 증빙이 가능한 정보들을 바탕으로 평가(점수)체계를 설계하기에 따라 충분히 변별력을 가질 수 있다. 후자와 관련하여서는 단기적으로는 직무관련 교과목 DB를 구축하여 DB내에서 지원자들이 작성을 하도록 유도하는 방법이 있고, 장기적으로는 일부 특성화고 및 대학교에서 진행하고 있는 NCS와 교육과정의 연계 및 인증을 통해 객관적인 평가가 가능해질 수 있다. 다음 호에서는 NCS 기반 필기전형의 주요 특징 및 도입방안에 대해 다루기로 한다. 강승혜 성균관대학원 산업 및 조직심리학 석사 현) ㈜ORP연구소 책임연구원 전) 대한무역투자진흥공사와 현대자동차를 비롯한 공공기관과 대기업에서 선발 체계 설계 및 도구 개발을 했다. 아울러 외교통상부와 LG그룹을 포함한 유수한 24개 기관에서 AC 역량평가와 DC 역량개발도 주력했다. 면접관과 면접 지원으로도 조력했으며, 고용노동부 핵심직무역량 평가모델 개발 및 보급과 외교부 국립외교원 선발면접 기초조사 연구 등 많은 연구 활동도 펼치는 중이다.