Hier ist die unbequeme Wahrheit: Die meisten Unternehmen treffen kritische Entscheidungen über ihre Belegschaft – wen sie einstellen, weiterentwickeln und einsetzen – auf der Grundlage unvollständiger, statischer Daten. Und da KI für diese Entscheidungen immer zentraler wird, verschärft sich das Qualitätsproblem. Der Unterschied zwischen einem Skill-System, das tatsächlich funktioniert, und einem, das zum Ladenhüter wird, liegt in der zugrunde liegenden Datenarchitektur. Ohne eine hochwertige Datenarchitektur macht Ihre KI Fehler nur schneller und in großem Maßstab. Diese sechs Fragen helfen Ihnen dabei, das Marketinggerede zu durchschauen und zu beurteilen, ob eine Lösung auf einem Fundament aufbaut, das auch dann tatsächlich funktioniert, wenn es um wichtige Entscheidungen geht.
1. Behandelt die Lösung Skills als probabilistisch oder deterministisch?
Das Problem: Die meisten Systeme behandeln Skills wie etwas, das man einfach abhaken kann. Mitarbeiter:in X hat Skill Y: Ja. Aber so funktionieren Skills nun mal nicht. Es handelt sich vielmehr um Einschätzungen mit unterschiedlichen Wahrscheinlichkeitsgraden, die sich im Laufe der Zeit verändern.
Worauf Sie achten sollten: Kann das System Unsicherheit abbilden? Steht dort „mit 85 % Sicherheit“ statt einfach nur „Ja“? Versteht es, dass Python für Data-Science etwas völlig anderes ist als Python für die Webentwicklung? Wenn das System Ihnen nicht sagen kann, wie sicher es sich bei einem Assessment ist, dann rät es nur. Und Sie haben keine Möglichkeit zu erkennen, wann diese Vermutungen falsch sind.
2. Werden Arbeitssignale oder nur Datensätze erfasst?
Das Problem: Trainingsunterlagen zeigen, was Mitarbeitende gelernt haben. Selbsteinschätzungen zeigen, was sie glauben, tun zu können. Keines von beiden sagt Ihnen, was die Mitarbeitenden tatsächlich leisten können, wenn es darauf ankommt.
Worauf Sie achten sollten: Ist das System mit den Tools verbunden, in denen die eigentliche Arbeit stattfindet? Kann es Signale von GitHub, Jira, Confluence und Ihren Projektmanagementtools abrufen? Der beste Beweis für eine Fähigkeit ist eine nachweisliche Leistung, kein Zertifikat über den Abschluss eines Kurses. Wenn das System nur Schulungsübersichten und Jahresbeurteilungen erfasst, entgeht ihm das wichtigste Signal.
3. Wird der Kontext verstanden oder werden nur Keywords abgeglichen?
Das Problem: „Python“ ist kein einzelner Skill. Python für Data-Science (Pandas, Scikit-learn) unterscheidet sich völlig von Python für die Webentwicklung (Django, Flask) oder DevOps-Automatisierung. Systeme, die nur auf Basis von Keywords abgleichen, generieren schlechte Empfehlungen.
Worauf Sie achten sollten: Versteht das System semantische Kontexte? Kann es zwischen einer „Datenanalyse“ im Finanzkontext und einer im Marketingkontext unterscheiden? Weiß es, dass sich die React-Skills für den Bau von Dashboards von den React-Skills für die Entwicklung mobiler Apps unterscheiden? Ohne semantisches Verständnis ist Ihr Abgleich eine teure Stichwortsuche und kaum mehr.
4. Modelliert das System den Kompetenzverlust, der sich im Laufe der Zeit vollzieht?
Das Problem: Ein Skill, den Sie gestern eingesetzt haben, ist mehr wert als ein Skill, den Sie vor drei Jahren eingesetzt haben. Skills werden durch regelmäßige Anwendung besser und bauen sich ohne Übung mit der Zeit ab. Die meisten Systeme behandeln sie alle gleich.
Darauf sollten Sie achten: Fragen Sie nach der Aktualität: Wann wurde der Skill zuletzt eingesetzt? Häufigkeit: Wie oft wird er verwendet? Entwicklung: Wird der Skill stärker oder nimmt er ab? Wenn jeder Skill als gleichermaßen gültig gilt – egal ob er letzte Woche oder vor drei Jahren eingesetzt wurde –, werden Ihre Daten unzuverlässig, sobald jemand seine Rolle ändert oder eine Fähigkeit nicht mehr ausübt.
5. Kann das System erklären, wie es zu seinen Assessments kommt?
Das Problem: Wenn Sie nicht erkennen können, warum das System annimmt, dass eine Person eine bestimmte Fähigkeit besitzt, können Sie die Bewertung weder überprüfen noch nachvollziehen oder verbessern. Und das Vertrauen sinkt schnell, wenn die Logik unsichtbar ist.
Worauf Sie achten sollten: Sie sollten für jedes Assessment die zugrunde liegende Begründung nachvollziehen können. Auf welchen Nachweisen basiert sie? Welche Systeme haben Daten geliefert? Wann wurde es zuletzt aktualisiert? Wie zuversichtlich ist das System? Wer hat es validiert? Nachvollziehbarkeit ist entscheidend für fundierte Entscheidungen, die Sie verantworten können.
6. Führt die Lösung mehrere Quellen zusammen oder stützt sie sich auf nur eine?
Das Problem: Keine einzelne Quelle erzählt die ganze Geschichte. Selbsteinschätzungen sind optimistisch. Assessments durch Manager:innen sind selten. Lerndaten zeigen, was gelernt wurde – nicht, was tatsächlich angewendet wird. Tätigkeitsnachweise sind auf Dutzende von Systemen verteilt.
Worauf Sie achten sollten: Führt das System verschiedene Signale zusammen und gewichtet sie auf intelligente Weise? Tätigkeitsnachweise, Learning-Aktivitäten, Assessments durch Manager:innen, Bestätigungen durch Kolleg:innen, Selbsteinschätzungen. All diese Informationen sind wertvoll. Keine davon reicht aber für sich allein aus. Systeme, die sich nur auf eine einzige Datenquelle stützen, übernehmen jeden Bias und blinden Fleck dieser Quelle. Die Zusammenführung mehrerer Datenquellen ist anspruchsvoller, aber auch die einzige Möglichkeit, die funktioniert.
Wie geht es weiter?
Diese sechs Fragen können weder einen Deal abschließen noch eine Bewertung im Alleingang abschließen. Sie zeigen aber schnell, ob ein Anbieter das Datenproblem ernsthaft analysiert hat oder ob er vor allem mit Skill-Taxonomien und einer ansprechenden Benutzeroberfläche überzeugt und darauf hofft, dass Sie nicht genauer hinschauen.
Die traurige Wahrheit ist, dass die meisten Skill-Systeme nicht darauf ausgelegt sind, diese Fragen gut zu beantworten. Das sollten Sie wissen, bevor Sie sich festlegen.
Sie möchten tiefer in das Thema Daten einsteigen? Lesen Sie unseren Blogartikel: Skills Data: Understanding the Foundation of Workforce Intelligence (Skill-Daten: Das Fundament von Workforce-Intelligence verstehen).
