Част 6: Инструмент за мониторинг и оценка на дейности с млади хора
Инструмент за мониторинг и оценка на дейности, в които участват млади хора
Въведение
Текущият мониторинг и оценка, както и обобщената оценка на обучението, семинарите и интервенциите при работа с младежи са задължителни поради няколко причини. Имаме нужда от мониторинг и оценка, за да можем да съобразим процеса с участниците и техните нужди, така че да постигнем желаните резултати. Нуждаем се от оценка в края, за да измерим резултатите от инициативата спрямо нейните цели. Тази глава се фокусира върху разбирането на мониторинга и оценката, както и върху оценката и развиването на умения за прилагането им. Така работещите с младежи се подготвят да прилагат мониторинг и оценка специално за семинарите FABLE.
Фокусираме се в детайли върху следните теми:
а. Какво представляват мониторингът и оценката и защо са важни?
б. Оценка
в. Текущ мониторинг и оценка
г. Методи за мониторинг и оценка и как да бъдат използвани
д. FABLE инструменти за оценка
В края на модула очакваме, че работещите с младежи ще могат да прилагат текуща и обобщена оценка при своето обучение и интервенции. Също така те ще бъдат подготвени за оценка на семинарите на FABLE G-Local Hub.
Какво представляват мониторингът и оценката и защо са важни?
Постоянният мониторинг и оценка на обучението и интервенциите при работа с млади хора са предпоставка за тяхната ефективност. Текущото оценяване, наричано още формиращо оценяване, увеличава шансовете за постигане на целите на интервенциите за работа с младежи, като обучение, семинари и други. Това включва непрекъснато събиране на информация, която след това се използва за коригиране на инструкциите и работния процес, за да се постигнат поставените цели. Оценката, от друга страна, се извършва в даден момент, за да се установи дали са постигнати целите, които са били поставени в началото за съответния етап или за цялата интервенция.
За да се разбере по-добре какво представлява оценяването, вижте видеото: Оценяване, от Ребека Бъртън (автоматични субтитри на всички езици са налични).
Оценяване
Много добър е моделът на Къркпатрик, който е стандарт за оценка на обучението през последните петдесет години. Той е напълно приложим за интервенции за работа с младежи.
Моделът предполага резултатите от обучението да се оценяват на 4 нива. Тези 4 нива, приложени към младежката работа са:
Реакции – въздействие върху младия човек. Степента, в която младите хора намират обучението или интервенцията за полезни, ангажиращи и подходящи за тяхната ситуация и нужди. Реакциите обикновено се оценяват с помощта на въпросници или интервюта, провеждани в края на обучението или интервенцията. Те измерват субективното възприятие на младия човек за процеса и резултатите от обучението, но не и въздействието върху поведението или представянето. Тези проучвания могат да съберат богати, качествени данни, но също така могат да насочат програмата към това, което е приятно, а не към това, което ще бъде най-ефективно.
Учене – въздействие върху компетенциите, които се очаква да бъдат развити. Придобити ли са желаните нови знания, умения и нагласи в резултат на участието в обучението или интервенцията? Процесът на обучение е свързан с придобиване на нови компетенции: знания и умения, нагласи, мотивация. Оценяването на ниво 2 обикновено се извършва чрез сравнение: преди/след и измерване на промените в компетенциите, които могат да бъдат директно приписани на обучението, семинара или друга интервенция. Официалните оценки и изпити са примери за оценка на ниво 2.
Поведение – въздействие върху поведението на младите хора, например за програмата FABLE, прилагат ли повече креативност и по-добри стратегии за решаване на проблеми, държат ли се по-уверено и проактивно? Поведението се отнася до успешното прилагане на придобитите нови компетенции. Оценяването на ниво 3 може да се извърши чрез формална оценка или чрез по-малко формални подходи като наблюдение.
Резултати – въздействие върху качеството на живот на младите хора. Степента, до която целевите резултати са постигнати в следствие на интервенцията. По-успешни ли са младите хора в намирането на работа или стартирането на инициативи, които подобряват благосъстоянието им? Чувстват ли се по-свързани, приобщени и значими? Това ниво е най-трудно за измерване, тъй като изисква дългосрочна връзка с хората, които са взели участие в инициативата, но от друга страна, ако е възможно да се приложи, то е крайната мярка за полезността и ефективността на дейността.
За да можем да наблюдаваме и оценяваме всеки тип обучение или интервенция, трябва първо да определим техните цели. Тези цели са дефинирани основно на Ниво 2: Учене и на Ниво 3: Поведение, но могат да включват и по-дългосрочните цели на Ниво 4: Резултати. Въз основа на целите, обучителят или работещият с младежи определя редица индикатори, които ще бъдат използвани за оценка на качеството и ефективността на обучението/интервенцията.
За се да разбере по-добре модела на Къркпатрик, вижте видеоклипа Моделът на Къркпатрик за оценка на обучението от Девлин Пек (налични са автоматични субтитри на всички езици).
Текущ мониторинг и оценка
За да гарантираме постигането на поставените цели за обучение или интервенция с млади хора, прилагаме непрекъснато наблюдение и оценка по време на обучението/интервенцията. Това се нарича още формиращо оценяване.
Текущата оценка показва напредъка на младия човек по време на обучението или интервенцията. Този подход изисква работещият с младежи да оцени ангажираността, мотивацията, нивото на разбиране и активността на участника по време на хода на дейностите. Текущите оценки са изключително важни за интервенции с млади хора, тъй като позволяват на работещия с младежи да определи как да адаптира хода на интервенцията или обучението към конкретната група хора, с която работи, за да постигне целите. Например, задаваме въпрос на групата, за да видим дали разбират за какво говорим или задачата, която трябва да изпълнят. Ако не разбират, се връщаме и обясняваме по друг начин.
Ключов принцип за използване на текущо оценяване е ясното съобщаване на целите на обучението/интервенцията на участниците. Тази комуникация не само определя очакванията за тях, но също така им позволява да наблюдават сами напредъка си в обучението. Друг подход за използване на текущо оценяване е да се изисква от обучаемите да записват заключения (доклади) за своите задачи и упражнения в работна тетрадка или електронен файл. Този подход за самооценка позволява на участника да се съсредоточи
върху това, което е научил.
Текущите оценки изискват от обучителя или работещия с младежи да предостави ясна обратна връзка на участниците, да изясни и коригира грешките, да обсъди наблюденията и заключенията от интервенциите с участие. Това е важен принос за придобиване на компетенции и промяна на поведението.
Методи за мониторинг и оценка и как да ги използвате
Това са по-формални и индивидуални методи, които позволяват на обучителя/работещия с младежи да събере някаква специфична информация без каквото и да било социално влияние на групата. Те, обаче, изискват да знаем от каква информация се нуждаем и какви въпроси ще накарат младите хора да ни я дадат.
Индивидуално или в група, те са може би най-добрият начин да се наблюдава еволюцията на младите хора по време на обучението или интервенцията. Те:
- позволяват на младите хора да изследват и експериментират с новите си знания и компетенции;
- дайте някои конкретни аспекти на научената теория;
- покажете както на младите хора, така и на работещия с младежи придобитата (или не) практическа компетентност.
Много близки до предишния метод, симулациите поставят младите хора в ситуация, която наистина може да се случи в живота им, например когато търсят работа или започват нова работа/инициатива. Те позволяват на работещия с младежи да види доколко участниците са подготвени за една или друга конкретна ситуация и да наблюдава тяхното поведение.
Неформални и индивидуални, те са може би най-добрият начин за събиране на цялата необходима информация, защото предлагат възможност за индивидуално задаване на въпроси. Те, обаче, са по-трудни за използване, без да окажат влияние върху отговорите. Освен това те изискват добро ниво на доверие между участващите хора, за да се гарантира честността на отговорите.
Участниците са може би най-добрият източник или информация за правилния напредък на обучение или интервенция. Обратната връзка и коментарите могат да бъдат съзнателно събрани от работещия с младежи на важни етапи от обучението или интервенцията, за да се поиска информация за напредъка и разбирането. Също така е важно да се провокират спонтанни коментари и обратна връзка през цялото времетраене на интервенцията или обучението.
Много информация идва просто от наблюдението на младите хора по време на семинара. Работещият с младежи може да подготви контролен списък/таблица, за да им помогне да оценят поведението и компетенциите на участника. Наблюдението на младите хора и резултатите от тяхната работа може да дадат информация за всичките 4 нива на модела Къркпатрик.
- Ниво 1: Реакция. Например, ако работещият с младежи наблюдава негативна реакция към неговия/нейния стил на фасилитиране, той може да го коригира. Като цяло мотивацията и ангажираността са добри признаци за връзка между работещия с младежи и младия човек, които ще доведат до положителна промяна.
- Ниво 2: Учене и Ниво 3: Поведение. Работещият с младежи може да подготви някаква скала въз основа на целите на обучението/интервенцията, за да им помогне да оценят и анализират поведението и компетенциите на участника.
- Ниво 4: Резултати. Оценяването на ниво 4 изисква дългосрочен ангажимент или на работещия с младежи, или на младия човек, в идеалния случай и на двамата. Най-важната част е да се зададат измерими индикатори, спрямо които да се наблюдават и оценяват резултатите.
Има голям брой методи, които могат да се използват за прилагане на текущо оценяване присъствено и при онлайн дейности. Ето няколко видеоклипа, където може да намерите малко вдъхновение.
FABLE инструменти за оценка
В рамките на проекта FABLE ще приложим сумативно оценяване (оценка в края на работата) чрез въпросници за всички инициативи, предприети с млади хора. Тук предоставяме целите на тези инициативи (дейности на G-Local Hub), индикатори за оценка и въпросник (Приложение 1), който да се използва в края на всяка сесия.
За формиращия (текущ) мониторинг и оценка работещите с младежи са свободни да прилагат това, което са научили в тази глава, както и своята креативност и да избират най-подходящите според ситуацията методи.
Цели на G-Local Hub семинар
- насърчаване придобиването на предприемачески умения от страна на младите хора чрез устойчива мода;
- придобиване на междусекторни умения като критично мислене, креативност;
- насърчаване на чувство за принадлежност към общността;
- мотивация за придобиване на междусекторни умения за бъдещето;
- информираност по темата за остатъчните ресурси в местната общност и чувство за инициатива - да създадем заедно нещо, което може да донесе промени;
- стимулиране промяната на съзнанието и перспективата към зелен преход и етичен подход към света на модата;
- стимулиране любопитството на младите хора към устойчиви теми и да предложи идеята, че новите кариери в зеления преход могат да бъдат бъдещето за всички, особено за младите хора;
- създаване безопасно и приобщаващо пространство за млади хора, които искат да изградят компетенции и в същото време да изследват своето потенциално бъдеще.
Индикатори за събиране на обратна връзка в края на семинарите
- ниво на удовлетвореност на младите хора, участвали в семинара;
- придобити нови предприемачески умения;
- придобити нови междусекторни умения като критично мислене, креативност;
- степента, до която участниците са почувствали чувство за принадлежност и общност в резултат на участието си в семинарите на G-Local Hub;
- степента, в която участниците са се почувствали сигурни и приобщени, докато се стремят да изградят нови компетенции по време на семинарите;
- повишаване на мотивацията за придобиване на междусекторни умения в бъдеще;
- повишаване на мотивацията за преминаване към зелен преход и етичен подход към света на модата;
- придобито любопитство към устойчиви теми и кариери в зеления преход;
- придобита информираност по темата за отпадъчните ресурси в местната общност и чувство за инициатива - да създадем заедно нещо, което може да донесе промяна.
ДЕЙНОСТИ
Сега ви каним да вземете участие в някои дейности, които ще ви помогнат да разберете и приложите мониторинга и оценката във вашата работа с млади хора.
Цели
- Разберете някои допълнителни причини за прилагане на оценка в работата с младежи и планирайте оценъчна дейност
Подготовка
- За тази дейност са ви необходими компютър и интернет, достъп до YouTube
Общо времетраене
45 мин.
Описание
- Гледайте видеото Процес на трансформативна оценка при работа с младежи https://youtu.be/GJChoKMQCiw
- Потърсете повече информация за Процеса на трансформативна оценка
- Отговорете на следните въпроси:
- Считате ли, че ще бъде полезно да приложите Процеса на трансформативна оценка в проект FABLE?
– Защо
– Как бихте го приложили, ако ще организирате FABLE семинар?
Създайте дейност за избор на подходящи истории и ги споделете с нас
Материали
Компютър, достъп до интернет, YouTube, текстови програми, електронна поща
Цели
- По-добро разбиране на модела за оценка на Къркпатрик и развитие на умения за прилагане.
Подготовка
- За тази дейност са необходими компютър и достъп до интернет.
Общо времетраене
1 час
Описание
- Разработете 1 метод за оценка, който да се приложи при FABLE семинар за всяко ниво на модела Къркпатрик
а. Опишете кратко четирите метода и защо сте ги избрали
б. Споделете методите с нас
Материали
Компютър, достъп до интернет, YouTube, текстови програми, електронна поща
Цели
- По-добро разбиране на външен мониторинг и оценка.
- Научете се как да прилагате нови методи на оценка
Подготовка
- За тази дейност имате нужда от компютър и достъп до интернет.
Общо времетраене
1 час
Описание
- Проучване на различни методи за външно оценяване
- Намерете най-малко 5, които никога преди това не сте изпробвали и ги отбележете. Как може да се приложат? При какви условия е подходящо да се приложат?
- Изберете 2 от тях, които бихте приложили по време на FABLE семинара и ги споделете с нас.
- Защо избрахте точно тези 2 метода?
Материали
Компютър, достъп до интернет, YouTube, текстови програми, електронна поща
Допълнителни ресурси
Kirkpatrick’s Four Levels of Training EvaluationJames D. Kirkpatrick and Wendy Kayser Kirkpatrick, Association for Talent Development; 1st edition (October 7, 2016)
Panadero, E., Andrade, H., & Brookhart, S. M. (2018). Fusing self-regulated learning and formative assessment: A roadmap of where we are, how we got here, and where we are going. The Australian Educational Researcher, 45(1), 13-31. doi:10.1007/s13384-018-0258-y
Formative Assessment, Making It Happen in the Classroom, Margaret Heritage, October 2021, Corwin
Formative Assessment for Teaching & Learning; Bill Boyle & Marie Charles, SAGE Publications Ltd, 2014 DOI: https://dx.doi.org/10.4135/9781526401861
Kirkpatrick’s Four Levels of Training EvaluationJames D. Kirkpatrick and Wendy Kayser Kirkpatrick, Association for Talent Development; 1st edition (October 7, 2016)
Част 5: Интегриране на предишни методологии
