Teil 6: Monitoring- und Bewertungstool für Aktivitäten mit Jugendlichen
Aufsicht und Bewertungsinstrument für Aktivitäten mit Kindern und Jugendlichen
Einleitung
Die laufende Beobachtung und Bewertung sowie die abschließende Evaluierung von Trainings, Workshops und Interventionen der Jugendarbeit ist aus mehreren Gründen ein Muss. Wir brauchen Überwachung und Bewertung, um den Prozess an die Teilnehmer und ihre Bedürfnisse anpassen zu können, damit wir die gewünschten Ergebnisse erzielen. Wir brauchen eine Bewertung am Ende, um die Ergebnisse der Initiative an ihren Zielen zu messen. Dieses Kapitel konzentriert sich auf das Verständnis der Überwachung und Bewertung sowie der Evaluierung und die Entwicklung von Fähigkeiten zu deren Anwendung. Es bereitet die Jugendbetreuer auch darauf vor, Monitoring, Bewertung und Evaluation speziell auf die FABLE-Workshops anzuwenden.
Im Einzelnen konzentrieren wir uns auf die folgenden Themen:
a. Was sind Beobachtung, Bewertung und Evaluierung und warum sind sie wichtig?
b. Evaluation
c. Laufende Aufsicht und Bewertung
d. Überwachungs-, Bewertungs- und Evaluierungsmethoden und deren Anwendung
e. FABLE-Bewertungsinstrumente
Am Ende des Moduls erwarten wir, dass JugendbetreuerInnen in der Lage sind, eine laufende Bewertung und summative Evaluation in ihren Trainings und Interventionen durchzuführen. Außerdem werden sie auf die Bewertung und Evaluierung der FABLE G-Local Hub Workshops vorbereitet sein.
Was sind Beobachtung, Bewertung und Evaluierung und warum sind sie wichtig?
Die ständige Beaufsichtigung und Bewertung von Trainings und Interventionen mit jungen Menschen ist eine Voraussetzung für deren Wirksamkeit. Eine fortlaufende Bewertung, auch formative Bewertung genannt, erhöht die Chancen, die Ziele von Maßnahmen der Jugendarbeit, wie Trainings, Workshops und andere, zu erreichen. Es geht darum, kontinuierlich Informationen zu sammeln, die dann zur Anpassung des Unterrichts und des Arbeitsprozesses verwendet werden, um die gesetzten Ziele zu erreichen. Die Evaluierung hingegen wird zu einem bestimmten Zeitpunkt durchgeführt, um herauszufinden, ob die zu Beginn für die jeweilige Einheit oder die gesamte Maßnahme festgelegten Ziele erreicht wurden.
Um besser zu verstehen, was Bewertung und Evaluation sind, sehen Sie sich das Video an: Evaluation and Assessment, von Rebecca Burton (automatische Untertitel in allen Sprachen verfügbar).
Evaluation
Ein sehr gutes Evaluierungsmodell ist das Kirkpatrick-Modell, das in den letzten fünfzig Jahren zum Standard für die Evaluierung von Schulungen geworden ist. Es ist auch vollständig auf Interventionen in der Jugendarbeit anwendbar.
Das Modell schlägt vor, dass die Trainingsergebnisse auf 4 Ebenen evaluiert werden sollten. Diese 4 Ebenen, angewandt auf die Jugendarbeit, sind:
Reaktionen – Auswirkungen auf den jungen Menschen. Das Ausmaß, in dem junge Menschen das Training oder die Intervention als nützlich, ansprechend und relevant für ihre Situation und Bedürfnisse empfinden. Die Reaktionen werden in der Regel anhand von Fragebögen oder Interviews bewertet, die am Ende des Trainings oder der Intervention durchgeführt werden. Sie messen die subjektive Wahrnehmung der Jugendlichen über den Prozess und die Ergebnisse des Trainings, nicht aber die Auswirkungen auf das Verhalten oder die Leistung. Diese Umfragen können reichhaltige, qualitative Daten sammeln, aber sie können auch dazu führen, dass das Programm auf das ausgerichtet wird, was Spaß macht, und nicht auf das, was am effektivsten ist.
Lernen – Auswirkungen auf die Kompetenzen, die entwickelt werden sollen. Wurden die gewünschten neuen Kenntnisse, Fähigkeiten und Einstellungen als Ergebnis der Teilnahme an der Schulung oder Intervention erworben? Beim Lernprozess geht es um den Erwerb neuer Kompetenzen: Wissen und Fertigkeiten, Einstellungen, Motivation. Die Bewertung auf Stufe 2 erfolgt in der Regel durch einen Vergleich: Vorher/nachher und Messung der Veränderungen in den Kompetenzen, die direkt auf die Schulung, den Workshop oder eine andere Intervention zurückgeführt werden können. Formale Bewertungen und Prüfungen sind Beispiele für die Bewertung auf Stufe 2.
Verhalten – Auswirkungen auf das Verhalten der jungen Menschen, z. B. beim FABLE-Programm: Wenden sie mehr Kreativität und bessere Problemlösungsstrategien an, verhalten sie sich selbstbewusster und proaktiver? Das Verhalten bezieht sich auf die erfolgreiche Anwendung der erworbenen neuen Kompetenzen. Die Bewertung der Stufe 3 kann durch eine formale Bewertung oder durch weniger formale Ansätze wie Beobachtung erfolgen.
Ergebnisse – Auswirkungen auf die Lebensqualität der jungen Menschen. Das Ausmaß, in dem die angestrebten Ergebnisse als Ergebnis der Intervention erreicht werden. Sind die jungen Menschen erfolgreicher bei der Arbeitssuche oder bei der Gründung von Initiativen, die ihr Wohlbefinden verbessern? Fühlen sie sich stärker eingebunden, einbezogen und sinnvoll? Diese Ebene ist am schwierigsten zu messen, da sie eine langfristige Beziehung zu den Menschen voraussetzt, die an der Initiative teilgenommen haben, aber andererseits ist sie, wenn sie umgesetzt werden kann, das ultimative Maß für den Nutzen und die Wirksamkeit der Aktivität.
Um jede Art von Ausbildung oder Intervention beobachten, bewerten und evaluieren zu können, müssen wir zunächst ihre Ziele definieren. Diese Ziele werden hauptsächlich auf Stufe 2: Lernen und auf Stufe 3: Verhalten definiert, können aber auch längerfristige Ziele auf Stufe 4: Ergebnisse beinhalten. Ausgehend von den Zielen, legt der Trainer oder Jugendbetreuer eine Reihe von Indikatoren fest, die zur Bewertung der Qualität und der Wirksamkeit des Trainings/der Intervention herangezogen werden.
Um das Kirkpatrick-Modell besser zu verstehen, sehen Sie sich das Video The Kirkpatrick Model of Training Evaluation von Devlin Peck an (automatische Untertitel in allen Sprachen verfügbar).
Laufende Beobachtung und Bewertung
Um sicherzustellen, dass die für ein Training oder eine Intervention mit jungen Menschen gesetzten Ziele erreicht werden, führen wir eine kontinuierliche Überwachung und Bewertung während des Trainings/der Intervention durch. Dies wird auch als formative Beurteilung bezeichnet.
Die fortlaufende Bewertung zeigt die Fortschritte des jungen Menschen während des gesamten Trainings oder der Intervention. Dieser Ansatz erfordert, dass der Jugendbetreuer das Engagement, die Motivation, das Verständnis und die Beteiligung des Teilnehmers während der gesamten Dauer der Aktivitäten bewertet. Fortlaufende Beurteilungen sind für Interventionen mit jungen Menschen äußerst wichtig, da sie es dem Jugendbetreuer ermöglichen zu erkennen, wie er den Verlauf der Intervention oder des Trainings an die jeweilige Gruppe von Menschen, mit denen er arbeitet, anpassen kann, um die Ziele zu erreichen. Zum Beispiel stellen wir der Gruppe eine Frage, um zu sehen, ob sie versteht, worüber wir sprechen oder welche Aufgabe sie zu erfüllen hat. Wenn sie es nicht verstehen, gehen wir zurück und erklären es auf andere Weise.
Ein wichtiger Grundsatz bei der kontinuierlichen Bewertung ist die klare Kommunikation der Lern-/Interventionsziele mit den Teilnehmern. Durch diese Kommunikation werden nicht nur die Erwartungen an die Teilnehmer festgelegt, sondern sie können auch ihre Lernfortschritte selbst überwachen. Ein weiterer Ansatz für eine kontinuierliche Bewertung besteht darin, die Lernenden aufzufordern, ihre Schlussfolgerungen (Berichte) zu ihren Aufgaben und Übungen in einem Arbeitsbuch oder einer elektronischen Datei festzuhalten. Dieser Ansatz der Selbstbeurteilung ermöglicht es den Teilnehmern, sich
auf das, was sie gelernt haben.
Fortlaufende Beurteilungen erfordern, dass der Trainer oder Jugendbetreuer den Teilnehmern ein klares Feedback gibt, um Fehler zu klären und zu korrigieren, Beobachtungen und Schlussfolgerungen aus partizipativen Interventionen zu diskutieren. Dies ist ein wichtiger Beitrag zum Erwerb von Kompetenzen und zur Veränderung von Verhaltensweisen.
Beobachtungs-, Bewertungs- und Evaluierungsmethoden und ihre Anwendung
Hierbei handelt es sich um eher formale und individuelle Methoden, die es dem Trainer/Jugendbetreuer ermöglichen, einige spezifische Informationen ohne sozialen Einfluss der Gruppe zu sammeln. Sie erfordern jedoch Wissen darüber, welche Art von Informationen wir benötigen und welche Fragen die jungen Menschen dazu bringen, uns diese zu geben.
Ob einzeln oder in der Gruppe, sie sind wahrscheinlich die beste Möglichkeit, die Entwicklung der Jugendlichen während des Trainings oder der Intervention zu beobachten. Sie:
- ermöglichen es den Jugendlichen, ihr neues Wissen und ihre neuen Kompetenzen zu erkunden und zu erproben;
- geben der erlernten Theorie einige konkrete Aspekte;
- sie zeigen sowohl den Jugendlichen als auch den Jugendbetreuern die erworbenen (oder nicht erworbenen) praktischen Kompetenzen.
In enger Anlehnung an die vorherige Methode versetzen Simulationen die jungen Menschen in eine Situation, die in ihrem Leben wirklich vorkommen könnte, z. B. bei der Arbeitssuche oder beim Beginn einer neuen Arbeit/Initiative. Sie ermöglichen es dem Jugendbetreuer zu sehen, wie gut die Teilnehmer auf die eine oder andere Situation vorbereitet sind, und ihr Verhalten zu beobachten.
Sie sind informell und individuell und wahrscheinlich der beste Weg, um alle benötigten Informationen zu sammeln, da sie die Möglichkeit bieten, individuelle Fragen zu stellen. Allerdings ist es schwieriger, sie einzusetzen, ohne die Antworten zu beeinflussen. Außerdem erfordern sie ein hohes Maß an Vertrauen zwischen den beteiligten Personen, um die Ehrlichkeit der Antworten zu gewährleisten.
The participants are probably the best source or information about the right progress of a training or intervention. Feedback and comments can be intentionally gathered by the youth worker, at important milestones of the training or intervention to solicit information about progress and understanding. It is also important to provoke spontaneous comments and feedback throughout the whole duration of the intervention or training.
Viele Informationen ergeben sich aus der einfachen Beobachtung der jungen Menschen während des Workshops. Der Jugendbetreuer kann eine Checkliste/Tabelle vorbereiten, die ihm hilft, das Verhalten und die Kompetenzen der Teilnehmer zu beurteilen. Die Beobachtung der jungen Menschen und die Ergebnisse ihrer Arbeit können Informationen zu allen 4 Ebenen des Kirkpatrick-Modells liefern.
- Stufe 1: Reaktion. Wenn der Jugendbetreuer zum Beispiel negative Reaktionen auf seinen Moderationsstil beobachtet, kann er ihn anpassen. Im Allgemeinen sind Motivation und Engagement gute Anzeichen für eine Beziehung zwischen Jugendbetreuer und jungem Menschen, die zu positiven Veränderungen führen wird.
- Stufe 2: Lernen und Stufe 3: Verhalten. Der Jugendbetreuer kann auf der Grundlage der Trainings-/Interventionsziele eine Skala erstellen, die ihm hilft, das Verhalten und die Kompetenzen der Teilnehmer zu bewerten und zu analysieren.
- Stufe 4: Ergebnisse. Die Bewertung auf Stufe 4 erfordert ein langfristiges Engagement entweder des Jugendbetreuers oder des jungen Menschen, idealerweise von beiden. Der wichtigste Teil ist die Festlegung messbarer Indikatoren, anhand derer die Ergebnisse überwacht und bewertet werden können.
Es gibt eine Vielzahl von Methoden, die zur Umsetzung einer laufenden Bewertung bei persönlichen und Online-Aktivitäten verwendet werden können. Hier finden Sie einige Videos, die Sie inspirieren können.
FABLE-Bewertungsinstrumente
Im Rahmen des FABLE-Projekts werden wir eine summative Bewertung (Bewertung am Ende der Arbeit mit jungen Menschen) mittels Fragebögen für alle mit jungen Menschen durchgeführten Initiativen durchführen. Hier finden Sie die Ziele dieser Initiativen (G-Local Hub Aktivitäten), Indikatoren für die Bewertung und einen Fragebogen (Anhang 1), der am Ende jeder Sitzung mit jungen Menschen verwendet werden soll.
Für die formative (fortlaufende) Beobachtung und Bewertung steht es den Jugendbetreuern frei, das in diesem Kapitel Gelernte sowie ihre Kreativität einzusetzen und die je nach Situation am besten geeigneten Methoden zu wählen.
Ziele des G-Local Hub Workshops
- Förderung des Erwerbs von unternehmerischen Fähigkeiten bei Jugendlichen durch eine nachhaltige Vorgehensweise;
- Erwerb von übergreifenden Fähigkeiten wie kritisches Denken und Kreativität;
- Förderung eines Gefühls der Zugehörigkeit zu einer Gemeinschaft;
- Motivation zum Erwerb von übergreifenden Kompetenzen für die Zukunft;
- Sensibilisierung für das Thema Abfallressourcen in der lokalen Gemeinschaft und das Gefühl der Initiative, gemeinsam etwas zu schaffen, das einen Unterschied machen kann;
- Anregung eines Bewusstseins- und Perspektivwechsels in Richtung eines grünen Übergangs und eines ethischen Ansatzes in der Modewelt;
- die Neugier junger Menschen auf nachhaltige Themen zu wecken und die Idee zu vermitteln, dass die neuen Berufe im Rahmen des grünen Übergangs die Zukunft für alle sein können, insbesondere für junge Menschen;
- Schaffung eines sicheren und integrativen Raums für junge Menschen, die Kompetenzen aufbauen und gleichzeitig ihre potenzielle Zukunft erkunden wollen.
Indikatoren, um am Ende der Workshops Feedback zu erhalten
- Grad der Zufriedenheit der jungen Menschen, die an dem Workshop teilgenommen haben;
- neue unternehmerische Fähigkeiten erworben haben;
- neue übergreifende Fähigkeiten wie kritisches Denken und Kreativität erworben haben;
- Ausmaß, in dem die Teilnehmer aufgrund ihrer Teilnahme an den Workshops des G-Local Hub ein Gefühl der Zugehörigkeit und Gemeinschaft empfunden haben;
- Ausmaß, in dem sich die Teilnehmer sicher und einbezogen gefühlt haben, während sie in den Workshops neue Kompetenzen aufbauen wollten;
- Steigerung der Motivation, in Zukunft transversale Kompetenzen zu erwerben;
- Steigerung der Motivation, sich in Richtung eines grünen Wandels und eines ethischen Ansatzes in der Modewelt zu bewegen;
- Gewonnene Neugierde auf nachhaltige Themen und Karrieren in der grünen Transformation;
- Erlangung eines Bewusstseins für das Thema Abfallressourcen in der lokalen Gemeinschaft und eines Gefühls der Initiative, gemeinsam etwas zu schaffen, das einen Unterschied machen kann.
AKTIVITÄTEN
Nun laden wir Sie zu einigen Aktivitäten ein, die Ihnen helfen werden, Monitoring, Bewertung und Evaluierung in Ihren Aktivitäten mit jungen Menschen zu verstehen und anzuwenden
Ziele
- Verstehen einiger zusätzlicher Gründe für die Durchführung von Evaluierungen in der Jugendarbeit und Entwerfen einer Evaluierungsaktivität
Vorbereitung
- Für diese Aktivität benötigen Sie einen Computer und Internet, Zugang zu YouTube.
Gesamtdauer
45 Minuten
Beschreibung
- Sehen Sie sich das Video Transformative Evaluation Process of The Youth Work an: https://youtu.be/GJChoKMQCiw
- Recherchieren Sie weitere Informationen über den Transformativen Evaluationsprozess
- Beantworten Sie die folgenden Fragen:
– Glauben Sie, dass es sinnvoll ist, den Transformativen Evaluierungsprozess in FABLE anzuwenden?
– Und warum?
– Wie würden Sie ihn anwenden, wenn Sie einen FABLE-Workshop organisieren? - Entwerfen Sie eine Aktivität zur Auswahl geeigneter Geschichten und teilen Sie sie mit uns.
Materialien
Computer, Internetzugang, YouTube, Textverarbeitungsprogramm, E-Mail.
Ziele
- Besseres Verständnis des Kirkpatrick-Evaluierungsmodells und Entwicklung von Fähigkeiten, es anzuwenden.
Vorbereitung
- Für diese Aktivität benötigen Sie einen Computer und einen Internetzugang.
Gesamtdauer
1 Stunde
Beschreibung
- Finden Sie für jede Stufe des Kirkpatrick Modells eine Bewertungs- oder Evaluierungsmethode, die in einem FABLE Workshop angewendet werden kann.
- Beschreiben Sie kurz die vier Methoden und warum Sie sie ausgewählt haben.
- Teilen Sie die Methoden mit uns.
Materialien
Computer, Internetzugang, YouTube, Textverarbeitungsprogramm, E-Mail.
Ziele
- Besseres Verständnis für die laufende Überwachung und Bewertung.
- Lernen Sie, neue Bewertungsmethoden anzuwenden.
Vorbereitung
- Für diese Aktivität benötigen Sie einen Computer und einen Internetzugang.
Gesamtdauer
1 Stunde
Beschreibung
- Recherchieren Sie über verschiedene laufende Bewertungsmethoden.
- Finden Sie mindestens 5, die Sie noch nie ausprobiert haben, und notieren Sie sie. Wie werden sie angewendet? Unter welchen Umständen ist es am besten, sie anzuwenden?
- Wählen Sie 2 davon aus, die Sie während eines FABLE Workshops anwenden würden und teilen Sie sie mit uns.
- Warum haben Sie gerade diese 2 Methoden ausgewählt?
Materialien
Computer, Internetzugang, YouTube, Textverarbeitungsprogramm, E-Mail.
Weitere Resourcen
Kirkpatrick’s Four Levels of Training EvaluationJames D. Kirkpatrick and Wendy Kayser Kirkpatrick, Association for Talent Development; 1st edition (October 7, 2016)
Panadero, E., Andrade, H., & Brookhart, S. M. (2018). Fusing self-regulated learning and formative assessment: A roadmap of where we are, how we got here, and where we are going. The Australian Educational Researcher, 45(1), 13-31. doi:10.1007/s13384-018-0258-y
Formative Assessment, Making It Happen in the Classroom, Margaret Heritage, October 2021, Corwin
Formative Assessment for Teaching & Learning; Bill Boyle & Marie Charles, SAGE Publications Ltd, 2014 DOI: https://dx.doi.org/10.4135/9781526401861
Kirkpatrick’s Four Levels of Training EvaluationJames D. Kirkpatrick and Wendy Kayser Kirkpatrick, Association for Talent Development; 1st edition (October 7, 2016)
Teil 5: Integration früherer Methoden
