Masterplan now available onAndroidiPhone
Zurück zu News
Insights
9th January 2023

Lernerfolg messen mit dem Learning Transfer Evaluation Model

Masterplan TeamMasterplan Team
Lernerfolg messen mit dem Learning Transfer Evaluation Model

Weiterbildungsmaßnahmen führen idealerweise zu Kompetenzzuwächsen bei den Mitarbeitenden. Doch wie kannst du Lerneffekte konkret messen? Das Learning Transfer Evaluation Model hilft dir, den Erfolg von Weiterbildungen zu ermitteln.

Jede Weiterbildungsmaßnahme zieht monetär messbare Effekte nach sich, die sich mit der ROI-Formel abbilden lassen. Konkrete Lerneffekte, wie Kompetenzzuwächse bei den Mitarbeitenden, eine verbesserte Stimmung der Belegschaft oder auch die Wettbewerbsfähigkeit des Unternehmens lassen sich dagegen nur schwer bis gar nicht monetär beziffern.

Trotzdem kannst du sie in deinem Unternehmen messen – und das solltest du auch!

Denn dadurch lassen sich entscheidende Einsichten dazu gewinnen, ob und inwiefern die Weiterbildungsmaßnahmen auf die strategischen Ziele des Unternehmens einzahlen.

Aber wie und wo fängt man an? Orientierung und Übersicht liefert das Learning Transfer Evaluation Model von Will Thalheimer von 2018. Es ist eine Weiterentwicklung des Kirkpatrick-Katzell-Modells aus den 1950er Jahren.

Das Kirkpatrick-Katzell-Modell
Das Kirkpatrick-Katzell-Modell wurde in den 1950er Jahren von Donald Kirkpatrick und James Katzell entwickelt. Es ist eines der frühen Modelle zur Evaluation von Schulungsprogrammen und wurde seither von vielen Organisationen und Unternehmen verwendet. Das Modell teilt Weiterbildungsmaßnahmen in vier Ebenen ein, an denen sich Lerneffekte zu unterschiedlichen Zeitpunkten mit qualitativen und quantitativen Methoden evaluieren lassen.

Jack Phillips hat dieses Modell schließlich in den 1980er Jahren um eine fünfte Ebene erweitert: die Investitionsrentabilität (ROI).

>>>Kostenfreies Handbook "Return on Learning" herunterladen<<<

Lernerfolg messen mit dem Learning Transfer Evaluation Model (LTEM)

Das Learning Transfer Evaluation Model (LTEM) bietet dir eine hilfreiche Übersicht darüber, welche Kennzahlen, quantitativen und qualitativen Evaluationskonzepte du in welchen Phasen des Lernprozesses nutzen kannst, um fundierte Rückschlüsse über den Return on Learning im Sinne der Lerneffekte für Mitarbeitende zu erhalten.

Learning Transfer Evaluation Model (LTEM)
Learning Transfer Evaluation Model (LTEM) Übersicht
  • Ursprung: Entwickelt von Will Thalheimer, PhD et al. 2018
  • Nutzen: Mit dem Framework können Unternehmen sicherstellen, dass ihre Evaluierungsmethoden wirksam sind und valides Feedback liefern.
  • Geschichte: Das LTEM ist eine Weiterentwicklung des Vier-Stufen-Modells von Kirkpatrick-Katzell aus den 1950er Jahren zur Messung von Lerneffekten.
  • Funktionsweise: Das LTEM teilt den Lernprozess in acht Phasen ein und zeigt die relevanten Bewertungsaspekte für Lernerfolg in den jeweiligen Phasen auf. Das Modell ist so konzipiert, dass es für alle Lernmethoden relevant ist, einschließlich Lernen im Klassenzimmer, E-Learning, mobiles Lernen, Lernen am Arbeitsplatz und Lernen im Selbststudium.

Thalheimer unterteilt den Lernprozess in insgesamt acht Phasen. Für jede Phase hat er eigene Bewertungskategorien geschaffen. Ähnlich dem Kirkpatrick-Katzell-Modell wird die Erfolgsmessung mit jedem Level komplexer und die Aussagekraft bezüglich der Lerneffekte steigt. 

Im Vergleich zum Kirkpatrick-Katzell-Modell stellt das LTEM allerdings noch eine detailliertere und umfassendere Methode zur Messung der Wirksamkeit von Schulungen dar.

So misst du Lerneffekte in acht Phasen

Die ersten vier Phasen beziehen sich auf den Umgang der Lernenden mit den Lernmaterialien. Messungen dienen weniger der Bewertung des Lernens, sondern liefern vor allem wichtige Informationen zu Motivation, Interessen und der Qualität des Lernprogramms. 

Erst ab Phase 5 können Messungen Kompetenzzuwächsen ermitteln und fundierte Rückschlüsse auf die Wirksamkeit des Lernens liefern. Für die ersten fünf Level können Lernplattformen hilfreiche Daten liefern, für die letzten drei sind die L&D-Teams selbst gefordert, Daten durch qualitative Befragungen, quantitative Umfragen oder Beobachtungen zu sammeln.

PhaseDimensionBeschreibungErfolgsmessung
1.TeilnahmeDer/die Lernende meldet sich an, beginnt, nimmt teil oder schließt ein Lernangebot ab.
  • Teilnahmerate Abschlussrate von Kursen
  • Durchschnittliche Lernzeit
2.EngagementDer/die Lernende beteiligt sich an Aktivitäten, die mit dem Lernen zusammenhängen.
  • Zeit, die auf einer Textlektion verbracht wird
  • Werden die Videos vorgespult oder vollständig angeschaut?
  • Werden Fragen gestellt? (in Präsenz)
3.BewertungDer/die Lernende bewertet:
  • a) ob der Kurs als hilfreich empfunden wurde (Lerneffektivität),
  • b) ob der Kurs gefallen hat (kein Indikator für Effektivität)
  • 5-Sterne- oder 10-Punkte-Bewertung
4.WissensaufnahmeDer/die Lernende beantwortet inhaltliche Fragen (Wissensabfrage)
  • Multiple-Choice-Test oder offene Fragen mit freiem Textfeld
5.EntscheidungskompetenzDer/die Lernende wendet erworbenes Wissen in realistischen Szenarien an, um Entscheidungen zu treffen
  • Multiple-Choice-Test oder offene Fragen mit freiem Textfeld
6.AufgabenkompetenzDer/die Lernende löst realistische Aufgaben
  • Hausaufgaben oder Case-Work im Zusammenhang mit dem Kurs
7.TransferDer/die Lernende wendet die erworbenen Kompetenzen im Arbeitsalltag an
  • Beobachtung durch Führungskraft, Kolleg:innen oder 360-Grad-Feedback
  • Selbsteinschätzung
  • Quantitative Umfrage zum Lernprogramm oder als Teil der regelmäßigen Mitarbeitendenumfrage
8.TransfereffektDie Anwendung der neuen Kompetenzen hat einen positiven Effekt auf die eigene Arbeit oder die Umwelt im Unternehmen
  • Beobachtung durch Führungskraft, Kolleg:innen oder 360-Grad-Feedback
  • Selbsteinschätzung
  • Quantitative Umfrage zum Lernprogramm oder als Teil der regelmäßigen Mitarbeitendenumfrage

1. Teilnahme

Die reine Teilnahme an Lernangeboten liefert zwar noch keine Erkenntnisse über den tatsächlichen Lernerfolg, sie ist jedoch ein wichtiger Indikator für “Lernappetit”. Dies ist insbesondere dann relevant, wenn Lernen keine Pflichtaufgabe ist (wie bei Pflichtschulungen zum Datenschutz oder zu Compliance), sondern auf freiwilliger Basis abläuft.

Masterplan Lösung
  • Die durchschnittliche Abschlussquote der Masterplan-Kurse liegt bei allen Nutzer:innen und allen Kursen bei etwa 80 %.

2. Engagement

In der Phase des Engagements wird untersucht, wie aufmerksam Lernende an Schulungen teilnehmen. Im Seminarraum können Lehrende einschätzen, ob die Teilnehmenden der Schulungen aufmerksam folgen (und Fragen stellen). Beim Online-Lernen können alternative Indikatoren sein, ob Lernende Teile der Lektionen überspringen, auf Links aus den Lektionen klicken oder angebotene Sekundärmaterialien herunterladen.

Masterplan Lösung
  • Textlektionen von Masterplan werden von der überwiegenden Mehrheit (mehr als 70 %) aktiv gelesen. Nur in 11 % aller genutzten Lektionen wurden Teile der Lernvideos übersprungen (geskippt).

3. Bewertung

Wie bewerten Lernende die Inhalte? In Umfragen lässt sich erstens ermitteln, ob ihnen der Kurs prinzipiell gefallen hat und ob sie diesen weiterempfehlen würden.

Thalheimer weist jedoch darauf hin, dass gut bewertete Kurse nicht automatisch auch solche sind, die die Lernenden im Arbeitsalltag auch tatsächlich weiterbringen. Zweitens sollten Lernende deshalb dazu befragt werden, ob sie dem Kurs inhaltlich folgen konnten und ob sie glauben, dass ihnen der Inhalt in ihrem Arbeitsalltag weiterhelfen wird. Online-Lernplattformen können die Wahrnehmung kontinuierlich auswerten und Lernenden daraufhin relevante Anschlusskurse vorschlagen.

Masterplan Lösung
  • Die durchschnittliche Bewertung aller Masterplan-Kurse beträgt 7,79/10
  • Masterplan wertet Bewertungen von Kursen kontinuierlich aus und bezieht diese Daten in den Empfehlungsalgorithmus mit ein: Zum einen werden Lernenden im Dashboard die am besten bewerteten Kurse angezeigt. Außerdem werden auf Basis des Nutzungs- und Bewertungsverhaltens individuelle Kurse in der Rubrik “Empfohlen für dich” vorgeschlagen. Zusätzlich analysiert Masterplan auf Quartalsbasis besonders gut und schlecht bewertete Kurse (inkl. Kommentare), um basierend darauf das Content-Angebot weiter zu optimieren.

4. Wissensaufnahme

Können Wissen und Terminologien im Anschluss an den Kurs abgerufen werden und sind sie auch nach längerer Zeit noch präsent? Wissensabfragen dienen der Kontrolle der Wissensaufnahme. Sie erzielen in der Regel die besten Lerneffekte, wenn die Fragen weder zu schwer, noch zu leicht sind (mehr zum Yerkes-Dodsen-Effekt in unserem Trend-Report). Lernplattformen haben gegenüber Präsenzschulungen den Vorteil, dass Kurse und Wissensabfragen nach längerer Zeit zur Auffrischung wiederholt werden können, da sie prinzipiell flexibel von überall und zu jeder Zeit aufrufbar sind.

Masterplan Lösung
  • Jede Masterplan-Lektion enthält eine Wissensabfrage meist mit wechselnden Fragetypen.
  • Masterplan ermöglicht das Speichern von Kursen und listet alle absolvierten Kurse automatisch in einem separaten Lernbereich auf. Lernende können so noch einfacher das Wissen und die dazugehörigen Abfragen wiederholen.
  • Die Lektionen bei Masterplan sind kurz und auf jedem Endgerät abrufbar. In der App lassen sich Kurse speichern und auch dann abrufen, wenn kein Internet zur Verfügung steht. Dies erhöht die Wahrscheinlichkeit, dass Wissen aufgefrischt wird.

5. Entscheidungskompetenz

Im Gegensatz zum Rezitieren von Wissen setzt die Entscheidungskompetenz voraus, dass das Gelernte auch verstanden wurde und ein Transfer auf neue, unbekannte Situationen und Szenarien möglich ist. 

Für Thalheimer ist die Überprüfung der Entscheidungskompetenz besonders relevant: Ob Schulungen tatsächlich einen Effekt in der Praxis haben oder nicht, zeigt sich daran, inwiefern Lernende tatsächlich andere Entscheidungen im Arbeitsalltag treffen als vorher.

Masterplan Lösung
  • Viele Masterplan-Lektionen enthalten im anschließenden Quiz sogenannte Szenariofragen, deren Antworten sich nicht direkt aus den Lerninhalten ableiten, sondern einen Wissenstransfer voraussetzen. Dadurch wiederholen Lernende nicht lediglich Definitionen und Begriffe, sondern sind gefordert, die Lerninhalte auf neue Situationen anzuwenden.

6. Aufgabenkompetenz

Anhand der Aufgabenkompetenz zeigt sich, inwiefern Lernende nicht nur eine bestimmte Entscheidung richtig treffen, sondern selbstständig durch ein ganzes Szenario führen können. Thalheimer erläutert das am Beispiel von Führungsschulungen: Es geht nicht mehr nur um die Frage, ob eine Vorgesetzte ihr Team in eine strategische Entscheidung mit einbezieht oder nicht. Ausschlaggebend ist vielmehr, wie die Führungskraft zu dieser Entscheidung kommt und wie sie sie umsetzt. Zur Ermittlung der Aufgabenkompetenz braucht es Kolleg:innen, Mentor:innen, Dozent:innen oder Vorgesetzte, die die qualitative Beantwortung der Aufgaben sinnvoll auswerten können, unter anderem beispielsweise anhand von Hausaufgaben.

Masterplan Lösung
  • Einige Masterplan-Lektionen enthalten Hausaufgaben und Case Studies.

7. Transfer

Transfer bedeutet, dass Lernende ihr Wissen im realen Kontext anwenden können. Thalheimer weist darauf hin, dass dies das Arbeitsumfeld, aber auch Anwendungsbereiche außerhalb der Arbeit betreffen kann. Unternehmen sollten beide Formen des Wissenstransfers berücksichtigen. Wenn Lernende ihr erworbenes Wissen auch außerhalb der Arbeit nützlich anwenden, wird dies zu größerer Wertschätzung des Arbeitgebers und höherer Mitarbeiterbindung führen.

Die Anwendung erlernten Wissens geschieht per se außerhalb einer Lernplattform und lässt sich durch Beobachtungen, Selbsteinschätzungen und qualitative Erhebungen ermitteln.

Beispiel von E.ON (Masterplan-Kunde)
  • Mitarbeitende besitzen einen persönlichen Entwicklungsplan, gekoppelt an jährliche Zielgespräche (z.B. Ziel: “Scrum-Master werden”).
  • Zwischengespräche zur Zielvereinbarung sowie regelmäßige Aufgaben dienen zur Überprüfung, ob die Lerninhalte, z.B. aus dem Scrum-Master-Training, in der Praxis angewendet werden können.

8. Transfereffekt

Im Transfereffekt wird die Wirkung eines veränderten Verhaltens untersucht. Ein Beispiel: Eine Führungskraft setzt einen neuen Ansatz zur Feedbackkultur im Team um. Der Wissenstransfer findet statt, die neue Methode wird angewendet.

Zu welchen positiven oder negativen (wirtschaftlichen oder sozialen) Effekten im Team oder Unternehmen dies führt, lässt sich in Beobachtungen, in Gesprächen zwischen Führungskraft und Mitarbeitenden oder in Umfragen erfassen. Dies lässt wiederum auch Rückschlüsse auf die Qualität der Lerninhalte zu – ein nicht zu unterschlagener Aspekt. Schließlich können qualitativ mangelhafte Lerninhalte auch zu keinen bzw. negativen Effekten führen, sei es durch Opportunitätskosten oder einer Verschlechterung der Feedbackkultur durch die erlernten Methoden.

LTEM in der Praxis: So solltest du das Learning Transfer Evaluation Model einsetzen

Das LTEM ist ein Fahrplan, um herauszufinden, wo Personaler:innen in Bezug auf die Lernevaluation stehen und fehlende Phasen zu identifizieren, in denen Evaluationen strategisch sinnvoll sind.

Es dient dir gewissermaßen als Karte für deine Trainingslandschaft und kann dir Orientierung bieten, damit du an den für dein Unternehmen relevanten Stellen die richtigen Evaluationsmethoden findest.

E-Learning-Anbieter, wie Masterplan, bauen bereits Bewertungen und Evaluationen in ihre Lernlösungen ein (insbesondere in den LTEM-Stufen 1 bis 4) und liefern L&D Manager:innen auf diese Weise passgenaue Reports mit wichtigen Insights zum Lernverhalten ihrer Mitarbeitenden.


Lies unser Interview mit Digital Learning Expert Anke Wygold von Masterplan-Kunde E.ON und erfahre, wie der Konzern systematisch Aspekte wie Lernzeit, Bewertung des Lernangebots durch Lernende und Lerntransfer der Mitarbeitenden ermittelt.


Lernanbieter profitieren davon ebenfalls und können ihr Angebot auf Basis dessen kontinuierlich verbessern. Auf diese Weise wird der Grundstein für Lernerfolge gelegt.

Vertiefende Evaluierungsmethoden in den Phasen 6 bis 8 eignen sich vor allem, um den Return on Learning bei strategisch wichtigen, kostenintensiven und über viele Jahre hinweg eingesetzten Lernmaßnahmen zu ermitteln.

Durch ein systematisches Bildungscontrolling lässt sich sicherstellen, dass die Maßnahme tatsächlich auf die strategischen Ziele einzahlen.

Download Handbook "Return on Learning"

Weitere Artikel

ZertifizierteInformationssicherheit
ISO/IEC 27001
TISAX®
Fortschritt überall
Lade unsere App herunter & entdecke die Zukunftdes Lernens. Für iOS und Android verfügbar.
© Masterplan com GmbH 2023