HRD 담당자를 위한 교육 개선: 데이터를 읽고 다음 과정을 바꾸는 방법

교육평가 결과를 보고서로만 남기지 않으려면 데이터 분석과 개선 실행을 연결해야 합니다. 설문 분포, 수행 오류, 현업 적용 조건을 분석하고 개선 우선순위·시범 적용·성과보고로 연결하는 HRD 실무 방법을 소개합니다.

1. 도입: 평가보고서는 쌓이는데, 교육은 왜 그대로일까?

교육을 마치고 결과를 정리했습니다.

• 만족도는 높았습니다.
• 수행평가에서는 일부 오류가 발견됐습니다.
• 현업에서는 적용이 어렵다는 의견이 나왔습니다.

보고서에는 개선사항을 적었습니다.

“실습을 확대하고, 사례를 보완하며, 관리자 지원을 강화한다.”

그런데 다음 과정에서도 같은 문제가 반복됩니다. 무엇을 왜 바꿀지, 누가 실행할지, 변경 후 무엇을 확인할지 정하지 않았기 때문입니다.

반대 상황도 있습니다. 어렵다는 의견에 내용을 줄이고, 적용이 낮다는 이유로 교육을 다시 실시합니다. 변경은 했지만 원인에 맞는 조치였는지는 알기 어렵습니다.

35번에서는 교육 효과를 어떤 증거로 확인하고 어디까지 해석할지 살펴봤습니다. 이번 글에서는 그 증거를 분석 → 원인 확인 → 변경 → 재확인 → 의사결정으로 연결합니다.

구분교육평가교육 개선

핵심 질문	무엇을 달성했고 무엇이 달라졌는가?	무엇을 왜 바꾸고 어떻게 확인할 것인가?
주요 업무	증거 수집·분석·해석	우선순위·변경·검증·운영 결정
주요 위험	결과의 과도한 해석	원인과 맞지 않는 조치
결과물	평가 결과와 한계	변경된 과정과 실행계획

교육 개선은 의견을 많이 반영하는 일이 아닙니다. 중요한 문제에 맞는 조치를 선택하고 실제로 나아졌는지 확인하는 일입니다.

2. 이론: 교육 개선을 이해하는 세 가지 관점

① PDCA: 변경보다 재확인까지가 개선이다

PDCA는 계획(Plan), 실행(Do), 확인(Check), 조치(Act)를 반복하는 개선 틀입니다.

단계교육 개선에서의 질문

계획	어떤 문제를 어떤 변경으로 줄일 것인가?
실행	변경을 정해진 범위에서 적용했는가?
확인	기대한 변화와 부작용은 무엇인가?
조치	유지·확대·수정·중단 중 무엇을 선택할 것인가?

교재를 수정하거나 활동을 추가한 것은 실행입니다. 변경 후 오류나 적용 조건이 나아졌는지 확인해야 개선의 효과를 판단할 수 있습니다.

② 수행개선 관점: 모든 문제의 해결책이 교육은 아니다

현업에서 원하는 행동이 나타나지 않는 이유는 다양합니다.

가능한 원인검토할 조치

지식·기술 부족	설명, 사례 연습, 피드백
업무 기준 불명확	정책·절차·판정 기준 정리
자료 접근 어려움	업무 지원도구와 자료 배치
시스템·권한 제약	환경과 업무절차 개선
관리자 요구 불일치	관리 기준 정렬과 코칭
적용 기회 부족	업무 배정과 관찰시점 조정

한 가지 문제에 여러 원인이 함께 작용할 수도 있습니다.

학습자가 사용하지 않았다는 사실만으로 동기 부족을 단정하거나, 같은 교육을 반복하지 않습니다.

③ 로직모델 관점: 결과로 이어지는 중간 조건을 확인한다

로직모델은 교육이 어떤 경로를 통해 결과에 영향을 줄 것으로 기대하는지 정리하는 도구입니다.

고객 안내교육이라면 다음과 같이 표현할 수 있습니다.

정책 판단과 안내 연습
→ 안내문 구성 능력 향상
→ 실제 상담의 안내 누락 감소
→ 안내 부족과 관련된 재문의 감소

이 경로는 인과관계가 입증됐다는 뜻이 아닙니다. 어디를 확인해야 하는지 보여주는 가설입니다.

• 학습자가 필요한 수행을 할 수 있는가?
• 실제 업무에서 적용할 기회가 있는가?
• 최신 자료를 사용할 수 있는가?
• 관리자가 같은 기준으로 피드백하는가?
• 결과지표에 영향을 준 다른 변화가 있는가?

개선 과정에서는 방법뿐 아니라 목표와 업무 기준 자체가 여전히 적절한지도 확인합니다.

3. 함정: 데이터가 있어도 개선으로 이어지지 않는 이유

함정 ① 평균만 보고 문제를 놓친다

만족도 평균이 4점이어도 모두가 4점을 준 경우와 절반은 5점, 절반은 3점을 준 경우는 다릅니다.

다만 분포가 다르다는 사실만으로 직무나 선수지식이 원인이라고 확정할 수는 없습니다.

평균과 함께 다음을 확인합니다.

• 유효 응답 수와 응답률
• 점수별 응답 분포
• 문항별 차이
• 필요한 경우 직무·차수별 결과
• 낮은 평가와 연결된 구체적인 의견

소규모 집단은 결과가 쉽게 달라지고 개인도 추정될 수 있으므로 세분화에 주의합니다.

함정 ② 학습자의 요구를 그대로 변경안으로 만든다

“내용이 어렵다”는 의견에는 여러 의미가 있습니다.

• 선수지식이 부족하다.
• 설명 순서가 복잡하다.
• 사례에 불필요한 정보가 많다.
• 연습 없이 바로 평가한다.
• 업무에 필요한 난도 자체가 높다.

내용을 줄이기 전에 어디에서 어떤 어려움이 발생했는지 확인합니다. 필요한 난도를 없애는 대신 설명, 예시, 연습을 보완해야 할 수도 있습니다.

함정 ③ 임의의 숫자를 보편적인 기준으로 사용한다

다음과 같은 규칙을 모든 과정에 적용하기는 어렵습니다.

• 정답률이 높으면 나쁜 문항이다.
• 표준편차가 일정 수준을 넘으면 문제가 있다.
• 일정 비율 이상이 틀리면 강의 방식에 결함이 있다.

필수 업무 기준의 숙달을 확인하는 평가에서는 대부분이 정답을 제시하는 것이 바람직할 수 있습니다.

정답률과 분포는 검토의 단서이며, 판정은 목표·업무 위험·문항 품질을 함께 고려합니다.

함정 ④ 변경 후 점수 상승을 곧바로 개선 효과로 본다

과제를 쉽게 만들거나 채점기준을 완화해도 점수는 높아집니다.

목표, 과제 난도, 수행 조건, 평가자 기준이 비교 가능한지 확인합니다. 조건이 바뀌었다면 기존 결과와의 단순 비교를 피하고 새 조건에서의 달성 여부를 보고합니다.

함정 ⑤ 여러 변경의 효과를 하나로 단정한다

사례, 강사, 교육시간, 자료, 관리자 코칭을 동시에 바꾸면 무엇이 영향을 줬는지 분리하기 어렵습니다.

여러 변경이 필요할 수는 있습니다. 다만 변경 이력을 남기고 개선 묶음의 결과와 개별 조치의 효과를 구분해야 합니다.

4. 사례: (주)누리커머스의 평가 결과를 개선으로 연결하다

가상 사례 안내: 아래 기업과 수치는 설명을 위한 가상 설정입니다. 기존 평가 결과는 35번의 사례를 이어가며, 원인 확인과 개선안은 추가적인 가상 가정입니다.

35번에서 (주)누리커머스는 상담직원 12명을 대상으로 고객 안내교육을 평가했습니다.

평가 자료확인된 결과

최종 개별 과제	12명 중 8명이 모든 필수 기준 충족
주요 보완사항	문의 경로 누락, 일정 조건 설명 부족
현업 기록 표본	30건 중 24건이 필요한 안내 요소 충족
관련 재문의	교육 전 200건 중 30건, 교육 후 200건 중 20건

① 숫자의 의미를 먼저 확인한다

학습 기준 충족 비율

• 충족 인원: 8명
• 평가 대상: 12명
• 계산: 8 ÷ 12 × 100 ≈ 66.7%

이는 정해진 과제에서의 달성 결과입니다. 전체 상담업무 숙련도를 뜻하지 않습니다.

현업 기록 기준 충족 비율

• 충족 기록: 24건
• 검토 기록: 30건
• 계산: 24 ÷ 30 × 100 = 80%

이는 기록 단위의 비율입니다. 직원의 80%가 적용했다는 뜻이 아닙니다.

관련 재문의율

• 교육 전: 30 ÷ 200 × 100 = 15%
• 교육 후: 20 ÷ 200 × 100 = 10%
• 변화: 10% − 15% = −5%p

재문의율은 5%포인트 감소했습니다. 같은 기간 정책자료 개편과 관리자 점검도 있었다면 감소 전체를 교육 단독 효과로 해석하지 않습니다.

② 사실과 원인 가설을 나눈다

관찰한 사실가능한 원인추가 확인

문의 경로 누락	경로를 모르거나 자료를 찾기 어렵다	자료 탐색 과정과 과제 확인
일정 조건 설명 부족	조건부 안내 연습이 부족하다	활동·피드백 기록 확인
현업에서도 일부 누락	시간 압박이나 관리 기준이 영향을 준다	업무 흐름·관리자 요구 확인

인터뷰만으로 결론 내리지 않고 자료, 화면, 과제, 업무 기록을 함께 살펴봅니다.

③ 확인한 원인에 맞춰 조치를 나눈다

추가 검토에서 문의 경로가 여러 자료에 흩어져 있고, 일정 조건이 달라지는 연습이 부족했으며, 일부 관리 기준이 필수 안내의 우선순위를 충분히 설명하지 않았다고 가정합니다.

개선 영역변경안담당

학습 설계	조건에 따른 일정 안내 사례와 재수행 추가	HRD·강사
업무 지원	정책 책임자가 확인한 문의 경로를 한 곳에 정리	정책·현업 담당
관리 기준	필수 안내를 포함하는 코칭 기준 정렬	현업 관리자

같은 문제라도 교육과 업무환경을 함께 바꿔야 할 수 있습니다.

④ 개선 가설과 확인할 증거를 연결한다

개선 가설확인할 증거

자료 탐색이 쉬워지면 경로 누락이 줄어든다	탐색 관찰, 과제·기록의 누락
조건부 안내 연습이 오류를 줄인다	비교 가능한 과제의 오류 유형
코칭 기준 정렬이 적용을 돕는다	코칭 실행 기록, 현업 산출물

과제 수행은 나아졌는데 현업 적용이 그대로라면 환경을 다시 확인합니다. 자료를 찾기 쉬워졌지만 오류가 줄지 않았다면 접근성 외의 원인이 남아 있을 수 있습니다.

개선안을 실행했다는 사실과 효과가 확인됐다는 판단을 분리합니다.

5. 분석: 교육 데이터를 읽는 다섯 단계

① 자료 품질과 분석 단위를 확인한다

분석 전에 다음을 점검합니다.

• 전체 대상과 응답·응시 인원은 누구인가?
• 미응답자와 미응시자가 빠져 있지는 않은가?
• 한 사람이 여러 기록을 제공했는가?
• 사람, 과제, 상담 건 중 무엇을 분석하는가?
• 자료의 기간과 포함·제외 기준은 무엇인가?

평균과 비율을 계산하기 전에 누구의 어떤 자료인지 확인해야 합니다.

② 분포와 오류 유형을 함께 본다

평균점수뿐 아니라 목표별 충족 여부와 반복 오류를 분석합니다.

분석 대상확인할 질문

설문 문항	어떤 경험에서 반응이 갈리는가?
지식 문항	오답이 특정 개념이나 선택지에 집중되는가?
수행과제	어떤 판단·행동 단계에서 오류가 발생하는가?
평가자 피드백	반복되는 수정 요청은 무엇인가?

정답률이 낮다면 설명 부족, 선수지식, 문항 모호성 등을 함께 검토합니다. 필수 기준 위반은 종합점수와 별도로 확인합니다.

③ 정성 의견을 체계적으로 분류한다

주관식 응답은 다음 순서로 정리할 수 있습니다.

1. 전체 응답을 읽어 맥락을 파악합니다.
2. 의미 단위에 코드를 붙입니다.
3. 유사한 코드를 주제로 묶습니다.
4. 대표 의견과 반대·예외 사례를 함께 확인합니다.
5. 과제나 업무 기록과 대조합니다.

집계할 때는 사람 수, 의견 수, 언급 횟수를 구분합니다. 한 사람이 여러 문제를 언급할 수 있으므로 주제별 비율의 합이 100%를 넘을 수도 있습니다.

자주 나온 의견과 위험이 큰 문제는 별도로 판단합니다.

④ 현업 적용 기회와 조건을 확인한다

실행하지 않았다는 기록을 보기 전에 적용할 업무가 있었는지 확인합니다.

• 관련 업무를 맡았는가?
• 필요한 자료·도구·권한이 있었는가?
• 업무 기준과 교육 내용이 일치하는가?
• 관리자 피드백이 제공됐는가?

LMS 접속이나 자료 조회도 참고할 수 있지만, 조회 횟수 자체는 학습이나 업무 적용의 증거가 아닙니다. 로그의 기록 방식과 누락 가능성도 점검합니다.

⑤ 비교 조건과 해석 한계를 확인한다

개선 전후에는 다음 조건을 비교합니다.

• 대상자의 출발 수준과 직무
• 과제 난도와 채점기준
• 업무량과 사례 구성
• 측정·추적기간
• 정책·시스템·관리 방식의 변화

조건이 다르면 변화는 보고할 수 있어도 원인을 단정하기는 어렵습니다.

6. 실무원칙: 교육 개선을 실행하는 일곱 단계

1단계. 의사결정과 문제를 구체화한다

“교육이 실무적이지 않다”보다 다음처럼 씁니다.

“교육에서 다루지 않은 예외 조건이 현업에서 발생해, 학습자가 처리 경로를 판단하기 어렵다고 보고했다.”

누가 어떤 결정을 내려야 하는지도 정합니다.

2단계. 원인 가설을 확인한다

설문 의견, 과제 오류, 현업 기록을 대조합니다. 중요한 불확실성에 대해서만 추가 관찰이나 인터뷰를 진행합니다.

3단계. 우선순위를 정한다

기준질문

위험	방치하면 안전·준법·품질 문제가 발생하는가?
영향	핵심 목표와 얼마나 관련되는가?
범위	얼마나 많은 사람과 업무에 영향을 주는가?
근거	원인과 조치의 연결이 뒷받침되는가?
실행 가능성	시간·권한·자원을 확보할 수 있는가?

점수표를 사용할 수 있지만 합계가 판단을 대신하지 않습니다. 위험이 큰 문제는 별도 우선 조치가 필요할 수 있습니다.

4단계. 변경안과 성공 기준을 함께 정한다

다음 구조를 사용합니다.

문제 → 원인 근거 → 변경안 → 기대 변화 → 확인 방법

성공 기준은 업무 요구와 기존 수준에 근거해 설정합니다. 근거 없이 임의의 향상률을 약속하지 않습니다.

5단계. 부작용을 막을 조건을 정한다

기대하는 변화함께 보호할 조건

안내 누락 감소	정책 정확성
자료 탐색 개선	정보 최신성과 접근권한
실습 확대	다른 필수 목표의 연습시간
처리시간 단축	필요한 안내와 품질

6단계. 시범 적용하고 변경 이력을 남긴다

변경 내용, 이유, 승인자, 적용 범위, 자료 버전을 기록합니다.

시범 적용에서는 사용성과 실행 가능성을 우선 확인합니다. 소규모 결과만으로 전체 효과를 확정하지 않습니다.

7단계. 재확인 결과를 의사결정으로 연결한다

판단은 항목별로 나눕니다.

• 과정은 유지할 것인가?
• 내용과 방식은 수정할 것인가?
• 대상을 확대할 것인가?
• 다른 지원 방식으로 전환할 것인가?
• 통합하거나 종료할 것인가?

유지하면서 수정하고, 확대만 보류할 수도 있습니다. 필수 교육이나 위험 통제 과정은 만족도나 신청률만으로 종료하지 않습니다.

7. 실무 도구: 개선 관리표와 한 페이지 보고서

① 교육 개선 관리표

항목작성 내용

문제·근거	관찰한 상황과 이를 뒷받침하는 자료
원인	확인된 원인과 남아 있는 가설
우선순위	위험·영향·범위·실행 가능성
변경안	교육·자료·환경·관리 방식의 변경
책임·일정	담당자·승인자·완료·재확인 시점
기대 변화	개선하려는 수행이나 조건
보호 조건	나빠지면 안 되는 품질·위험·부담
확인 방법	자료원·비교 조건·판정 기준
결과·결정	유지·확대·수정·중단과 근거
변경 이력	버전과 적용 범위

② 한 페이지 의사결정 보고서

항목핵심 내용

결정 요청	무엇을 승인하거나 선택해야 하는가?
핵심 결과	목표와 관련된 주요 증거
확인된 문제	미충족 기준과 반복 오류
해석 한계	표본·결측·비교 조건·외부 변화
제안 조치	변경 내용과 필요한 자원
실행·재확인	담당자·일정·다시 확인할 지표

보고 대상에 따라 상세 수준을 달리합니다.

• 경영진: 투자·확대 판단, 비용, 위험
• 현업 관리자: 오류 유형, 업무환경, 코칭 행동
• 학습자: 개인 수행 결과, 보충학습, 적용 지원

개인정보와 고객정보는 필요한 범위만 사용하고, 교육자료를 인사 의사결정에 활용하려면 별도의 적합성·공정성·관련 절차를 검토합니다.

8. 결론: 교육 개선의 기준은 ‘바꿨는가’가 아니라 ‘나아졌는가’다

평가자료를 모았다고 교육이 자동으로 좋아지지는 않습니다. 실습을 늘리거나 교재를 바꿨다고 개선이 완성되는 것도 아닙니다.

문제와 원인을 구분하고, 원인에 맞는 조치를 선택해야 합니다. 변경 후에는 학습과 현업 적용이 나아졌는지, 새로운 부담이나 위험은 생기지 않았는지 확인해야 합니다.

때로는 교육 내용이 답입니다. 때로는 업무 지원도구, 관리자 코칭, 정책과 시스템을 바꿔야 합니다. 과정의 전환이나 종료가 더 적절할 수도 있습니다.

다음 평가보고서에는 네 가지를 함께 적어보세요.

무엇을 왜 바꿀 것인가? 누가 실행할 것인가? 무엇으로 나아졌다고 판단할 것인가? 결과에 따라 무엇을 결정할 것인가?

이 질문이 연결될 때 교육 데이터는 결과보고를 넘어 다음 과정과 현업을 개선하는 근거가 됩니다.

실무 체크리스트: 교육 분석·개선 전후 확인사항

분석 전

• 보고 대상과 활용할 의사결정이 명확한가?
• 지표의 정의·분모·기간·분석 단위를 확인했는가?
• 미응답·미응시·누락 자료를 확인했는가?
• 평균뿐 아니라 분포와 오류 유형을 검토했는가?
• 사실과 원인 가설을 구분했는가?
• 교육 외 원인과 목표의 적절성도 확인했는가?

변경 실행 중

• 변경안이 확인한 원인과 연결되는가?
• 위험과 영향에 따라 우선순위를 정했는가?
• 담당자·승인자·일정이 정해졌는가?
• 기대 변화와 확인 방법을 함께 정했는가?
• 부작용을 막을 조건이 있는가?
• 자료·평가도구·업무 기준의 버전이 일치하는가?

재확인·보고 후

• 변경이 계획대로 실행됐는가?
• 전후 비교 조건이 적절한가?
• 점수 상승이 기준 완화 때문은 아닌가?
• 기록 비율과 개인 비율을 구분했는가?
• 변화와 교육 단독 효과를 구분했는가?
• 주요 한계와 개선 필요사항도 보고했는가?
• 유지·수정·확대·전환·종료 판단을 남겼는가?
• 효과가 확인된 변경을 다음 과정에 반영했는가?