불편한 진실이 있습니다. 대다수의 조직은 누구를 채용하고, 개발하고, 배치할 것인지에 대한 중요한 인력 의사결정을 할 때 불완전하고 정적인 데이터에 기반합니다. 이러한 의사결정에 AI가 중심적인 역할을 하면 품질 문제가 더 악화됩니다. 실제로 효과적인 스킬 시스템이 되느냐, 쓸모없는 쉘프웨어가 되느냐를 가르는 차이는 시스템을 떠받치는 데이터 아키텍처에 있습니다. 양질의 데이터 아키텍처가 없으면, AI는 신속하게 대규모로 실수를 남발합니다. 여기서 소개하는 여섯 가지 질문은 불필요한 내용을 걸러내고, 솔루션이 실제 의사결정에 효과적인 기반 위에 구축되었는지 평가하는 데 도움이 될 것입니다.
1. 시스템이 스킬을 확률론적으로 취급합니까, 아니면 결정론적으로 취급합니까?
문제점: 대다수의 시스템은 스킬을 마치 체크박스처럼 취급합니다. 직원 X에게 스킬 Y가 있으면, "그렇다"라고 하는 것입니다. 하지만 이것은 스킬의 본질과 차이가 있습니다. 시간이 지남에 따라 변화하는 신뢰도 가중 평가 방식을 도입해야 합니다.
살펴봐야 할 점: 시스템이 불확실성을 표현할 수 있습니까? 시스템이 단순히 "예"라고 하지 않고 "85% 신뢰도"라고 알려줍니까? 데이터 과학에 쓰이는 Python은 웹 개발에 쓰이는 Python과 완전히 다르다는 것을 시스템이 이해하고 있습니까? 시스템이 평가의 신뢰도가 어느 정도인지 알려줄 수 없다면 추측에 불과합니다. 그리고 추측이 틀렸을 때 여러분이 알 수 있는 방법이 없습니다.
2. 시스템이 업무 신호를 포착합니까, 아니면 단순히 기록만 합니까?
문제점: 교육 보고서를 통해서는 직원들이 학습한 것이 무엇인지를 알 수 있습니다. 자기 보고서를 통해서는 직원들이 무엇을 할 수 있다고 생각하는지를 알 수 있습니다. 하지만 둘 중 어느 것도 정말 중요한 순간에 직원들이 어떤 것을 해낼 수 있는지 알려주진 못합니다.
살펴봐야 할 점: 업무가 실제로 진행되는 곳으로 시스템이 연결되어 있습니까? 시스템이 GitHub, Jira, Confluence, 귀사 자체 프로젝트 관리 도구로부터 신호를 가져올 수 있습니까? 능력을 가장 잘 보여줄 수 있는 증거는 과정 이수 인증서가 아닌, 실제 발휘되는 업무 수행력입니다. 시스템이 교육 수강 이력과 연간 검토만 파악할 수 있다면 정작 가장 중요한 신호는 놓치게 됩니다.
3. 시스템이 맥락을 이해합니까, 단순히 키워드를 매칭합니까?
문제점: "Python"을 일례로 들면, 이것은 스킬 하나로 취급해서는 안 됩니다. 데이터 과학에 쓰이는 Python(pandas, scikit-learn)은 웹 개발에 쓰이는 Python(Django, Flask) 또는 DevOps 자동화에 쓰이는 Python과 완전히 다릅니다. 시스템이 키워드만 매칭할 경우 추천의 질이 크게 떨어집니다.
살펴봐야 할 점: 시스템이 의미론적 맥락을 이해할 수 있습니까? 시스템이 "데이터 분석"을 재무적 맥락과 마케팅적 맥락으로 구분해 파악할 수 있습니까? 대시보드 구축에서의 React 스킬과 모바일 앱 구축에서의 React 스킬이 다르다는 것을 시스템이 알고 있습니까? 의미론적 이해 없이 매칭하는 시스템은 가격은 많이 비싸고 성능을 약간만 더 나은 키워드 검색에 불과합니다.
4. 시스템이 시간적 퇴행을 모델링합니까?
문제점: 어제 사용된 스킬은 3년 전에 사용된 스킬보다 가치가 높습니다. 스킬은 사용할 때 예리해집니다. 반면, 사용하지 않으면 녹슬어 퇴행합니다. 대다수의 시스템에서는 이를 구분 없이 동일하게 취급합니다.
살펴봐야 할 점: 최신성: 마지막으로 업무에 활용된 시점은 언제입니까? 빈도: 얼마나 자주 활용되고 있습니까? 추세: 점점 탄탄해지고 있습니까, 아니면 그 반대입니까? 최근 적용 시점이 지난주이든, 3년 전이든 똑같이 모든 스킬을 유효하다고 취급하면, 역할이 변경되거나 능력을 잊어버리게 된 순간에 데이터를 신뢰할 수 없게 됩니다.
5. 시스템이 평가 과정을 설명할 수 있습니까?
문제점: 어떤 직원이 능력을 보유했다고 시스템이 판단한 이유를 알 수 없다면 이를 검증할 방도도 없습니다. 오류를 고칠 수도 없고 개선할 수도 없습니다. 로직에 가시성이 없으면 신뢰는 무너집니다.
살펴봐야 할 점: 모든 평가에 대하여 그 이유를 추적할 수 있어야 합니다. 이를 뒷받침하는 증거는 무엇인지? 데이터에 기여한 시스템은 무엇인지? 언제 마지막으로 업데이트되었는지? 시스템의 신뢰도는 어느 정도인지? 누가 검증했는지? 이러한 질문에 설명이 가능해야 탄탄한 근거를 토대로 의사결정을 할 수 있습니다.
6. 시스템이 여러 소스를 조합해 활용합니까, 하나에만 의존합니까?
문제점: 단일 소스만으로는 전체적인 맥락을 파악할 수 없습니다. 자기 보고서는 실제보다 낙관적입니다. 매니저 평가는 주기가 너무 깁니다. 학습 내역은 교육 수강 사실만 알려줄 뿐, 업무에 활용되었는지는 알려주지 못합니다. 업무 수행력을 보여주는 증거는 십여 가지 시스템에 흩어져 있습니다.
살펴봐야 할 점: 시스템이 여러 신호를 종합해서 가중치를 지능적으로 부여하고 있습니까? 업무 수행력을 보여주는 증거, 학습 활동, 매니저 평가, 동료 검증, 자기 보고서는 모두 중요한 의미를 지닙니다. 하지만 이 중 어떤 것도 하나만으로는 충분하지 않습니다. 단일 소스 시스템은 해당 소스가 가진 편향과 사각지대를 모두 그대로 물려받습니다. 여러 소스를 조합하는 것은 구축하기 까다롭습니다. 하지만 효과가 있는 유일한 방법이기도 합니다.
이후 단계
여기 여섯 가지 질문만으로는 모든 것을 해결하고 평가를 마무리하기엔 역부족입니다. 하지만 데이터 문제를 진지하게 여기고 있는 벤더인지, 아니면 분류와 UI 디자인에만 집중하고 고객이 더 깊이 들여다볼 수 있는 여지를 제공해주지 않는 벤더인지는 쉽게 확인할 수 있습니다.
대다수의 스킬 시스템은 이러한 질문에 제대로 답할 수 있게 구축되지 않았다는 것이 불편한 진실입니다. 계약하기 전에 이 점을 알아둘 필요가 있습니다.
데이터 측면에서 더 심층적으로 알아보고 싶으십니까? 당사의 블로그 글: 스킬 데이터: 인력 인텔리전스의 기반 이해하기를 읽어보십시오.
