6. rész: Monitoring és értékelő eszköz a fiatalokkal folytatott tevékenységekhez
Nyomon követési és értékelési eszköz a fiatalokkal végzett tevékenységekhez
Bevezetés
Az ifjúsági munka képzések, workshopok és beavatkozások folyamatos nyomon követése és értékelése, valamint összegző értékelése több okból is elengedhetetlen. A nyomon követésre és értékelésre azért van szükség, hogy a folyamatot a résztvevőkhöz és igényeikhez tudjuk igazítani, hogy elérjük a kívánt eredményeket. A végén értékelésre van szükségünk, hogy a kezdeményezés eredményeit a kitűzött célokhoz képest mérni tudjuk. Ez a fejezet a nyomon követés és az értékelés, valamint az értékelés megértésére és az alkalmazásukhoz szükséges készségek fejlesztésére összpontosít. Felkészíti az ifjúságsegítőket arra is, hogy a nyomon követést, az értékelést és az értékelést kifejezetten a FABLE műhelyekre alkalmazzák.
Részletesen a következő témákra összpontosítunk:
a. Mi az a nyomon követés, értékelés, és miért fontosak?
b. Értékelés
c. Folyamatos nyomon követés és értékelés
d. Nyomon követési, értékelési módszerek és alkalmazásuk módja
e. FABLE értékelési eszközök
A modul végén azt várjuk, hogy az ifjúságsegítők képesek lesznek a folyamatos értékelést és az összegző értékelést alkalmazni képzéseik és beavatkozásaik során. Emellett felkészültek lesznek a FABLE G-Local Hub műhelyfoglalkozások értékelésére és értékelésére is.
Mi az a nyomon követés, értékelés, és miért fontosak?
A fiatalokkal folytatott képzések és beavatkozások folyamatos nyomon követése és értékelése a hatékonyság előfeltétele. A folyamatos értékelés, amelyet formatív értékelésnek is neveznek, növeli az esélyét annak, hogy az ifjúsági munkával kapcsolatos beavatkozások, mint például a képzések, workshopok és egyéb tevékenységek céljai megvalósuljanak. Ez magában foglalja a folyamatos információgyűjtést, amelyet aztán az oktatás és a munkafolyamat kiigazítására használnak fel a kitűzött célok elérése érdekében. Az értékelés viszont egy adott időpontban történik, hogy kiderüljön, teljesültek-e a kezdetben az adott egységre vagy az egész beavatkozásra vonatkozóan kitűzött célok.
Ha jobban meg szeretné érteni, hogy mi az értékelés, nézze meg a videót: Rebecca Burton (automatikus feliratozás minden nyelven elérhető).
Értékelés
Nagyon jó értékelési modell a Kirkpatrick-modell, amely az elmúlt ötven évben a képzés értékelésének szabványa volt. Az ifjúsági munka beavatkozásaira is teljes mértékben alkalmazható.
A modell szerint a képzési eredményeket 4 szinten kell értékelni. Ez a 4 szint az ifjúsági munkára alkalmazva a következő:
Reakciók – a fiatalra gyakorolt hatás. Az, hogy a fiatalok mennyire találják a képzést vagy a beavatkozást hasznosnak, vonzónak és a helyzetük és szükségleteik szempontjából relevánsnak. A reakciókat általában kérdőívek vagy interjúk segítségével értékelik, amelyeket a képzés vagy a beavatkozás végén végeznek. Ezek a fiatalok szubjektív megítélését mérik a képzés folyamatáról és eredményeiről, de nem a viselkedésre vagy teljesítményre gyakorolt hatást. Ezek a felmérések gazdag, kvalitatív adatokat gyűjthetnek, de a programot is afelé terelhetik, ami élvezetes, nem pedig arra, ami a leghatékonyabb.
Tanulás – a várhatóan fejlesztendő kompetenciákra gyakorolt hatás. A képzésben vagy beavatkozásban való részvétel eredményeként megszerezték-e a kívánt új ismereteket, készségeket és attitűdöket? A tanulási folyamat új kompetenciák megszerzéséről szól: ismeretek és készségek, attitűdök, motiváció. A 2. szintű értékelés általában összehasonlítással történik: előtte/utána és a kompetenciákban bekövetkezett olyan változások mérése, amelyek közvetlenül a képzésnek, workshopnak vagy más beavatkozásnak tulajdoníthatók. A formális értékelések és vizsgák példák a 2. szintű értékelésre.
Viselkedés – a fiatalok viselkedésére gyakorolt hatás, például a FABLE program esetében: több kreativitást és jobb problémamegoldó stratégiákat alkalmaznak-e, magabiztosabban és proaktívabban viselkednek-e? A viselkedés a megszerzett új kompetenciák sikeres alkalmazására utal. A 3. szintű értékelés történhet formális értékeléssel vagy kevésbé formális megközelítésekkel, például megfigyeléssel.
Eredmények – a fiatalok életminőségére gyakorolt hatás. A beavatkozás eredményeként elért célzott eredmények mértéke. Sikeresebbek-e a fiatalok az álláskeresésben vagy a jólétüket javító kezdeményezések elindításában? Úgy érzik, hogy jobban kötődnek egymáshoz, jobban be vannak vonva és értelmesebbek? Ezt a szintet a legnehezebb mérni, mivel valamilyen hosszú távú kapcsolatot igényel a kezdeményezésben részt vevő személyekkel, másrészt azonban, ha megvalósítható, ez a tevékenység hasznosságának és hatékonyságának végső mércéje.
Ahhoz, hogy bármilyen típusú képzést vagy beavatkozást nyomon tudjunk követni, és értékelni tudjunk, először meg kell határoznunk a céljaikat. Ezeket a célokat elsősorban a 2. szinten: a tanulási, és a 3. Szinten: a viselkedési célokat határozzuk meg, de a 4. szinten: az eredmények hosszú távú célokat is tartalmazhatnak. A célok alapján a tréner vagy az ifjúságsegítő számos mutatót határoz meg, amelyek segítségével értékeli a képzés/beavatkozás minőségét és hatékonyságát.
A Kirkpatrick-modell jobb megértéséhez tekintse meg a The Kirkpatrick Model of Training Evaluation című videót, amelyet Devlin Peck készített (automatikus feliratozás minden nyelven elérhető).
Folyamatos nyomon követés és értékelés
Annak érdekében, hogy biztosítsuk a fiatalokkal folytatott képzés vagy beavatkozás céljainak elérését, a képzés/beavatkozás során folyamatos nyomon követést és értékelést végzünk. Ezt formatív értékelésnek is nevezik.
A folyamatos értékelés a fiatal fejlődését mutatja a képzés vagy beavatkozás során. Ez a megközelítés megköveteli az ifjúságsegítőtől, hogy a tevékenységek során végig értékelje a résztvevő elkötelezettségét, motivációját, megértésének és részvételének szintjét. A folyamatos értékelés rendkívül fontos a fiatalokkal végzett beavatkozások esetében, mivel lehetővé teszi az ifjúságsegítő számára, hogy megállapítsa, hogyan kell a beavatkozás vagy képzés menetét az adott csoporthoz igazítani a célok elérése érdekében. Például felteszünk a csoportnak egy kérdést, hogy lássuk, megértették-e, miről beszélünk, vagy hogy milyen feladatot kell elvégezniük. Ha nem értik, visszamegyünk és más módon magyarázzuk el.
A folyamatos értékelés alkalmazásának egyik legfontosabb alapelve, hogy a tanulási/beavatkozási célokat egyértelműen közölni kell a résztvevőkkel. Ez a kommunikáció nemcsak elvárásokat fogalmaz meg számukra, hanem lehetővé teszi számukra, hogy önellenőrzést végezzenek a tanulásban elért fejlődésükről. A folyamatos értékelés alkalmazásának másik megközelítése, hogy a tanulóknak a feladatokkal és gyakorlatokkal kapcsolatos következtetéseket (jelentéseket) kell rögzíteniük egy munkafüzetben vagy elektronikus fájlban. Ez az önértékelési megközelítés lehetővé teszi a résztvevők számára, hogy összpontosítsanak a tanultakról.
A folyamatos értékelés megköveteli, hogy a tréner vagy ifjúságsegítő egyértelmű visszajelzést adjon a résztvevőknek, hogy tisztázza és kijavítsa a hibákat, megvitassa a részvételi beavatkozásokból származó megfigyeléseket és következtetéseket. Ez fontos hozzájárulás a kompetenciák elsajátításához és a viselkedésmódok megváltoztatásához.
Monitoring-, és értékelési módszerek és alkalmazásuk módja
Ezek formálisabb és egyéni módszerek, amelyek lehetővé teszik a tréner/ifjúságsegítő számára, hogy a csoport szociális befolyása nélkül gyűjtsön bizonyos konkrét információkat. Ehhez azonban tudnunk kell, hogy milyen információra van szükségünk, és milyen kérdések vezetnek a fiataloktól ahhoz, hogy megadják nekünk.
Egyénileg vagy csoportosan, valószínűleg a legjobb módja annak, hogy megfigyeljük a fiatalok fejlődését a képzés vagy a beavatkozás során. Ezek biztosítják:
- a fiatalok felfedezhessék és kipróbálhassák új ismereteiket és kompetenciáikat;
- ad néhány konkrét szempontot a tanult elmélethez;
- megmutatja mind a fiataloknak, mind az ifjúságsegítőnek a megszerzett (vagy meg nem szerzett) gyakorlati kompetenciát.
Az előző módszerhez nagyon hasonlóan a szimulációk, melyek olyan helyzetbe helyezik a fiatalokat, amely valóban előfordulhatnak az életükben, például álláskeresés vagy új munka/kezdeményezés során. Lehetővé teszik az ifjúságsegítő számára, hogy lássa, mennyire vannak felkészülve a résztvevők egy-egy konkrét helyzetre, és megfigyelheti viselkedésüket.
A kötetlen és egyéni beszélgetések valószínűleg a legjobb módjai annak, hogy minden szükséges információt összegyűjtsünk, mivel lehetőséget adnak arra, hogy a kérdéseket egyénileg tegyük fel. Ugyanakkor nehezebb őket a válaszok befolyásolása nélkül használni. Ezen túlmenően a válaszok őszinteségének biztosításához megfelelő szintű bizalomra van szükség az érintettek között.
Valószínűleg a résztvevők a legjobb információforrás a képzés vagy beavatkozás megfelelő előrehaladásáról. Az ifjúságsegítő szándékosan gyűjthet visszajelzéseket és megjegyzéseket a képzés vagy beavatkozás fontos állomásainál, hogy információt gyűjtsön a fejlődésről és a megértésről. Az is fontos, hogy a beavatkozás vagy képzés teljes időtartama alatt spontán megjegyzéseket és visszajelzéseket kérjünk.
Sok információ származik a fiatalok egyszerű megfigyeléséből a workshop során. Az ifjúságsegítő készíthet valamilyen ellenőrző listát/táblázatot, amely segíthet a résztvevők viselkedésének és kompetenciáinak minősítésében. A fiatalok megfigyelése és munkájuk eredményei a Kirkpatrick-modell mind a 4 szintjéről információt nyújthatnak.
- 1. szint: Reakció. Például, ha az ifjúságsegítő negatív reakciókat tapasztal a facilitáló stílusára, akkor módosíthatja azt. Általában a motiváció és az elkötelezettség jó jelei az ifjúságsegítő és a fiatal közötti kapcsolatnak, amely pozitív változáshoz vezet.
- 2. szint: Tanulás és 3. szint: Viselkedés. Az ifjúságsegítő a képzés/intervenció céljai alapján készíthet néhány skálát, amely segíthet a résztvevő viselkedésének és kompetenciáinak értékelésében és elemzésében.
- 4. szint: Eredmények. A 4. szintű értékelés hosszú távú elkötelezettséget igényel az ifjúságsegítőtől vagy a fiataltól, ideális esetben mindkettőtől. A legfontosabb az, hogy mérhető mutatókat határozzunk meg, amelyek alapján az eredmények nyomon követhetők és értékelhetők.
Számos módszer alkalmazható a folyamatos értékelés megvalósítására a személyes és az online tevékenységek során. Íme néhány videó, ahol inspirációt találhat.
FABLE értékelési eszközök
A FABLE projekt keretében a fiatalokkal végzett valamennyi kezdeményezés esetében kérdőívek segítségével szummatív értékelést (a fiatalokkal végzett munka végén végzett értékelés) fogunk bevezetni. Itt közöljük e kezdeményezések céljait (G-Local Hub tevékenységek), az értékelés mutatóit és egy kérdőívet (1. melléklet), amelyet a fiatalokkal való minden foglalkozás végén kell használni.
A formatív (folyamatos) nyomon követés és értékelés során az ifjúságsegítők szabadon alkalmazhatják az ebben a fejezetben tanultakat, valamint kreativitásukat, és a helyzetnek megfelelően választhatják ki a legmegfelelőbb módszereket.
A G-Local Hub workshop céljai
- a fiatalok vállalkozói készségeinek előmozdítása a fenntartható divat révén;
- olyan transzverzális készségek elsajátítása, mint a kritikus gondolkodás, kreativitás;
- a közösséghez tartozás érzésének előmozdítása;
- motiváció a jövőre vonatkozó transzverzális kompetenciák megszerzésére;
- a helyi közösségben a hulladékforrásokkal kapcsolatos tudatosság és a kezdeményezőkészség, hogy közösen hozzunk létre valamit, ami változást hozhat;
- a zöld átmenet és a divatvilág etikus megközelítése felé történő szemléletváltás ösztönzése;
- a fiatalok kíváncsiságának felkeltése a fenntartható témák iránt, és annak az elképzelésnek a felvetése, hogy a zöld átállással kapcsolatos új szakmák mindenki, különösen a fiatalok jövőjét jelenthetik;
- biztonságos és befogadó tér létrehozása olyan fiatalok számára, akik kompetenciákat kívánnak építeni, és egyúttal felfedezni a lehetséges jövőjüket.
A műhelymunkák végén a visszajelzések gyűjtésére szolgáló mutatók
- a workshopon részt vevő fiatalok elégedettségi szintje;
- új vállalkozói készségekre tett szert;
- új transzverzális készségeket, például kritikus gondolkodást és kreativitást sajátítottak el;
- milyen mértékben érezték a résztvevők az összetartozás és a közösség érzését a G-Local Hub workshopjain való részvételük eredményeként;
- a résztvevők mennyire érezték magukat biztonságban és beilleszkedve, miközben új kompetenciákat igyekeztek kiépíteni a műhelyek során;
- a transzverzális kompetenciák jövőbeni elsajátítására irányuló motiváció növelése;
- a motiváció növekedése a zöld átállás és a divatvilág etikus megközelítése felé való elmozdulás érdekében;
- a fenntartható témák és a zöld átállással kapcsolatos karrierek iránti kíváncsiság;
- a helyi közösségben a hulladékforrásokkal kapcsolatos tudatosság és a kezdeményezőkészség megszerzése, hogy közösen hozzunk létre valamit, ami változtathat a helyzeten.
Tevékenységek
Most néhány olyan tevékenységre invitálunk, amelyek segítenek megérteni és alkalmazni a nyomon követést és értékelést a fiatalokkal végzett tevékenységeid során.
Célok
- Érts meg néhány további okot az értékelés bevezetésére az ifjúsági munkában, és tervezz meg egy értékelési tevékenységet.
Előkészítés
- Ehhez a tevékenységhez számítógépre és internetre, valamint YouTube-hozzáférésre van szükséged.
Teljes időtartam
45 perc
Leírás
- Az ifjúsági munka transzformatív értékelési folyamata című videó megtekintése: https://youtu.be/GJChoKMQCiw
- További információk a transzformatív értékelési folyamatról
- Válaszolj a következő kérdésekre:
1. Szerinted hasznos lesz-e a transzformatív értékelési folyamat alkalmazása a FABLE-ban?
2. Miért?
3. Hogyan alkalmaznád, ha FABLE workshopot szerveznél?
Tervezz tevékenységet a megfelelő történetek kiválasztására, és osszuk meg velünk.
Anyagok
Számítógép, internet-hozzáférés, YouTube, szövegszerkesztő program, e-mail.
Célok
- A Kirkpatrick-féle értékelési modell jobb megértése és az alkalmazásához szükséges készségek fejlesztése.
Előkészítés
- Ehhez a tevékenységhez számítógépre és internet-hozzáférésre van szükséged.
Teljes időtartam
1 óra
Leírás
- Dolgozz ki a Kirkpatrick-modell minden szintjére vonatkozóan 1 értékelési vagy értékelési módszert, amelyet a FABLE műhelymunkára lehet alkalmazni.
- Írd le röviden a négy módszert és azt, hogy miért választottad őket.
- Oszd meg velünk a módszereket.
Anyagok
Számítógép, internet-hozzáférés, YouTube, szövegszerkesztő program, e-mail.
Célok
- A folyamatos nyomon követés és értékelés jobb megértése.
- Új értékelési módszerek alkalmazásának megtanulása.
Előkészítés
- Ehhez a tevékenységhez számítógépre és internet-hozzáférésre van szükséged.
Teljes időtartam
1 óra
Leírás
- Kutatás a különböző folyamatban lévő értékelési módszerekről.
- Keress legalább 5 olyan ételt, amelyet még soha nem próbált ki, és jegyezd fel őket. Hogyan alkalmazzák őket? Milyen körülmények között a legmegfelelőbb alkalmazni őket?
- Válassz ki ezek közül kettőt, amelyet egy FABLE workshop során alkalmaznál, és oszd meg velünk.
- Miért pont ezt a 2 módszert választottad?
Anyagok
Számítógép, internet-hozzáférés, YouTube, szövegszerkesztő program, e-mail.
További források
Kirkpatrick’s Four Levels of Training EvaluationJames D. Kirkpatrick and Wendy Kayser Kirkpatrick, Association for Talent Development; 1st edition (October 7, 2016)
Panadero, E., Andrade, H., & Brookhart, S. M. (2018). Fusing self-regulated learning and formative assessment: A roadmap of where we are, how we got here, and where we are going. The Australian Educational Researcher, 45(1), 13-31. doi:10.1007/s13384-018-0258-y
Formative Assessment, Making It Happen in the Classroom, Margaret Heritage, October 2021, Corwin
Formative Assessment for Teaching & Learning; Bill Boyle & Marie Charles, SAGE Publications Ltd, 2014 DOI: https://dx.doi.org/10.4135/9781526401861
Kirkpatrick’s Four Levels of Training EvaluationJames D. Kirkpatrick and Wendy Kayser Kirkpatrick, Association for Talent Development; 1st edition (October 7, 2016)
5. rész: Korábbi módszerek integrálása
