Ewaluacja programów profilaktycznych Opracowała: dr Marta Majorczyk, pedagog, doradca rodzinny (Family Counselling Poland), psychoterapeuta, edukator prorozwojowy, trener, wykładowca akademicki, adiunkt w Katedrze Pedagogiki i Psychologii na Wydziale Studiów Społecznych WSB z siedzibą Poznaniu, pracownik niepublicznej poradni psychologiczno- -pedagogicznej przy USWPS w Poznaniu Każdy udzielający pomocy praktyk pragnie się dowiedzieć, czy w opracowanym programie profilaktycznym zostały zrealizowane działania i czy były one skuteczne. W tym celu należy przeprowadzić ewaluację, przez którą można rozumieć pragmatyczną refleksję, a więc myślenie i działanie na rzecz zwiększania sprawstwa i sensu. Co to jest ewaluacja? Ewaluacja, o której mowa będzie w tym artykule, odnosi się do badania i oceny programu profilaktycznego. To przede wszystkim proces zbierania informacji, które posłużą do modyfikacji programu profilaktycznego, oceny wartości tego programu pod względem jego skuteczności, efektywności, użyteczności, trwałości itd. Ewaluacja może być przeprowadzona na każdym etapie realizacji programu profilaktycznego: • ewaluacja ex-ante – przeprowadzana przed działaniem, ma ocenić trafność zamierzonych przedsięwzięć zgodnie z celami projektu, • ewaluacja mid-term – podczas trwania projektu ocenia osiągnięte etapy, produkty i rezultaty; daje możliwość modyfikacji działania tak, aby lepiej spełniało zamierzone cele, • ewaluacja ex-post – przeprowadzana po zakończeniu programu, ma na celu zbadanie długotrwałych rezultatów, a także ocenia realizację poszczególnych etapów oraz stopień realizacji zakładanych celów. Wyróżnia się ewaluację celów, procesu oraz wyniku. Pierwsza sprawdza, czy cele programu zostały osiągnięte w zamierzonym czasie, przy zaplanowanych sposobach i środkach. Ważne są dwa rodzaje celów: ogólne (główne) programu, które określają planowaną zmianę (efekt), oraz szczegółowe – wskazujące sposób dojścia do efektu. Ewaluacja procesu koncentruje się zaś na ocenie jakości działań w programie profilaktycznym. Za jej pomocą ustala się, czy zostały osiągnięte zakładane wskaźniki wykonania zadań, czy program odpowiadał potrzebom osób uczestniczących, czy został skierowany do właściwej grupy. Kluczowe znaczenie ma wówczas analiza dokumentacji programu i informacje zwrotne od beneficjentów i innych interesariuszy projektu. Natomiast ewaluacja wyniku to badanie efektów programu: oczekiwanej zmiany lub jej wskaźników pośrednich. W ewaluacji wyniku pyta się, czy zmiana nastąpiła i co na nią wskazuje. Czy zmiana została spowodowana programem? Wyróżnia się pięć poziomów ewaluacji: 1. Produkty (Czy działania zostały przeprowadzone?) 2. Reakcja (Czy program się podobał?) 3. Uczenie się (Czy wiedza i umiejętności zostały opanowane? Czy zmieniły się przekonania i postawy?) 4. Zastosowanie (Czy wiedza, umiejętności i postawy przekładają się na zachowanie?) 5. Efekty (Czy nastąpiła zmiana zachowań problemowych?) Na pierwszym i drugim poziomie bada się proces realizacji programu profilaktycznego, a na trzecim, czwartym i piątym – wynik programu. Jak przebiega ewaluacja programu profilaktycznego? Ewaluację mogą prowadzić osoby z zewnątrz lub wewnątrz placówki. Odpowiednio mówi się wówczas o ewaluacji zewnętrznej bądź wewnętrznej. Przeprowadzenie ewaluacji programu profilaktycznego przynosi wiele korzyści, np. pozwala zidentyfikować mocne i słabe strony programu na wszystkich jego etapach, pokazuje, co można poprawić czy zmienić, a także zwiększa zaangażowanie wszystkich osób objętych programem. Ewaluacja programu profilaktycznego przebiega w następujących etapach: 1. Zaplanowanie koncepcji badań Należy tutaj wyznaczyć cele i sposób przeprowadzenia ewaluacji. Warto odpowiedzieć wtedy na następujące pytania: • Co chcemy ewaluować? (pomocne będzie rozważenie zakładanych celów projektów i skutków, jakie miały one przynieść), • W jaki sposób badania mają zostać przeprowadzone? (pytanie o metodę badawczą i kryteria oceny), • Dla kogo przeprowadzana jest ewaluacja? (ustalenie, czy będzie to zewnętrzna, czy wewnętrzna ewaluacja), • Kto zostanie objęty badaniem? (ta kwestia jest zależna od przyjętej metody badawczej), • Ile potrzeba zasobów do dokonania ewaluacji? (czasowych, kadrowych, finansowych). Kryteria oceny programu profilaktycznego: • trafność, dopasowanie treści programu do oczekiwań i możliwości edukacyjnych beneficjentów (pytania badawcze: Czy działania podjęte w programie dobrze służyły rozwiązaniu problemu? Czy zostały skierowane do właściwej grupy odbiorców? Czy podjęte działania były odpowiednie dla wybranej grupy odbiorców?), • efektywność, badanie stopnia zastosowanych zasobów w stosunku do osiągniętych celów, • skuteczność, badanie stopnia realizacji założonych celów programu (pytanie badawcze: Czy osiągnęliśmy zakładane rezultaty?), • użyteczność, możliwość zastosowania nabytej wiedzy i umiejętności w praktyce (pytania badawcze: Czy i w jaki sposób beneficjenci i interesariusze programu na nim skorzystali? Czy problem został rozwiązany?), • trwałość, czyli czy wprowadzone zmiany są trwałe. Ewaluacja każdego programu profilaktycznego powinna obejmować odpowiedzi na następujące pytania: Czy zaszła oczekiwana zmiana? Czy zmiana zaszła na skutek działania programu?. W ten sposób określa się wskaźniki zmiany i sposoby ich pomiaru oraz uzasadnia się związki przyczynowe między oddziaływaniami w programie a uzyskaną zmianą. Pod refleksję można poddać zatem związek między działaniami i ich skutkami (ewaluacja wyniku), dobór narzędzi do zaplanowanych oddziaływań (ewaluacja procesu). Zgodnie z definicją profilaktyki ma ona zapobiegać zachowaniom problemowym bądź je ograniczać. Zatem bezpośrednim wskaźnikiem zmiany, jaka zaszła pod wpływem realizacji programu profilaktycznego, będzie zaobserwowana zmiana zachowania np. ucznia/dziecka (częstotliwość, intensywność, rodzaj), natomiast pośredni wskaźnik zmiany będzie zależny od przyjętych wcześniej założeń. Przykładowo, jeśli w programie uznano, że wiedza i przekonanie na temat szkodliwości działania dopalaczy powoduje zmniejszenie ich zażywania, uzyskany wysoki wynik wiedzy na ten temat wśród uczestników zajęć profilaktycznych uznamy za pośredni wskaźnik spadku ich zażywania. Predykatorami korzystnych zmian będą zachowania, które w oparciu o założenia teoretyczne uznano za chroniące, np. konstruktywne radzenie sobie ze stresem. Wskaźniki pośrednie tworzą zaś wniosek o mniejszej lub większej sile związku pomiędzy elementami programu profilaktycznego. 2. Realizacja badania Katalog metod i technik stosowanych w ewaluacji jest bardzo szeroki. Podczas ewaluacji wykorzystuje się wywiady (indywidualne, grupowe), ankiety, badanie dokumentów (statystyki, raporty, sprawozdania), obserwacje zachowań uczestników. Pomiar zmian po programie daje tylko odpowiedź, że zmiana nastąpiła lub nie. Nie dowiemy się, czy była rezultatem programu, czy może pojawieniem się niezależnych od programu czynników. Do badania wpływu programu należy zastosować schematy porównań (eksperyment, quasi-eksperyment) – sprawdzają one, jak sytuacja, w której program był prowadzony, ma się do analogicznej, w której programu nie było. Przykładowo losowo dzielimy szóstoklasistów na dwie grupy i jedna przejdzie przez program, a druga nie. Ta grupa, w której nie będzie programu, to grupa kontrolna. Zmiany porównuje się w obu grupach i różnice można przypisać działaniu programu. Przeprowadzenie ewaluacji z zastosowaniem modelu eksperymentalnego wymaga wiedzy i doświadczenia badawczego, a także zasobów finansowych. Badań ewaluacyjnych nie podejmujemy, kiedy nie są konieczne, a ich przeprowadzenie jest niemożliwe lub nieopłacalne. Przeprowadzamy takie badania, kiedy chcemy powtórzyć program profilaktyczny w tym samym środowisku lub w podobnych warunkach. 3. Zestawienie i analiza danych Analizę zebranych danych można przeprowadzić na dwa sposoby: ilościowy (dokonywana jest za pomocą analizy statystycznej, opracowane wyniki ukazują prawidłowości, korelacje pomiędzy danymi, co pozwala na wyciągnięcie wniosków) oraz jakościowy (dotyczy opisu, poznania i zrozumienia badanych zjawisk). Analiza może dotyczyć zależności między odniesionymi korzyściami a poniesionymi kosztami, zależności między oddziaływaniem długofalowym a zainwestowanymi środkami (efektywność), słabych i mocnych stron (SWOT), porównywania między sobą projektów o tej samej tematyce. 4. Raportowanie Innymi słowy, interpretacja i synteza zebranych informacji, czego rezultatem jest raport zawierający wnioski oraz model działań na przyszłość. Raport powinien zawierać wszystkie etapy ewaluacji, tzn.: przedmiot badań i kontekst ewaluacji, procedury badawcze, wyniki badań, wnioski z ewaluacji i rekomendacje. 5. Upowszechnianie i zastosowanie wyników ewaluacji Zapoznanie osób odpowiedzialnych za program z wynikami, podjęcie słusznych decyzji na przyszłość. Podsumowanie Zdaniem Katarzyny Okulicz-Kozaryn badania ewaluacyjne powinien prowadzić zespół liczący ok. 8–10 osób, w tym: autorzy programu profilaktycznego, realizatorzy programu, badacze zajmujący się ewaluacją, decydenci i osoby sprawujące nadzór merytoryczny i finansowy nad placówką, w której program jest realizowany. Autorzy zainteresowani upowszechnianiem swoich programów profilaktycznych na terenie UE i Polski powinni skierować się do banków programów o rekomendację. Na terenie UE jest to EDDRA (Exchange on Drug Demand Reduction Action), w Polsce – baza programów rekomendowanych wspólnie przez następujące instytucje: • Krajowe Biuro ds. Przeciwdziałania Narkomanii, • Państwowa Agencja Rozwiązywania Problemów Alkoholowych, • Ośrodek Rozwoju Edukacji i Instytut Psychiatrii i Neurologii, • https://www.emcdda.europa.eu/best-practice_en, • https://programyrekomendowane.pl/strony/o-systemie-rekomendacji,116. Bibliografia: • B. Ciężka, Pojęcie ewaluacji i jej rodzaje, w: Ewaluacja – kwestie ogólne, Warszawa 2005. • Z.B. Gaś, W. Poleszak, Opracowujemy i ewaluujemy program profilaktyczny szkoły, Warszawa 2017. • A. Koc-Wittels, Ewaluacja – co to jest? I jak to się robi?, https://etnograficzna.pl/wp-content/uploads/2013/12/ARAA2013_publikacja.pdf (dostęp: 20.09.2020). • J. Latkowska, Ewaluacja krok po kroku. Podręcznik ewaluacji wewnętrznej programów profilaktycznych, https://www.profnet.org.pl/baza-wiedzy/podrecznik-ewaluacji-programow/ (dostęp: 24.09.2020). • K. Okulicz-Kozaryn, Co profilaktyk powinien wiedzieć o ewaluacji programów profilaktycznych. „Serwis Informacyjny Narkomania” 2014, nr 3(67). • A. Rudolf, Podstawowe metody badań ewaluacyjnych, w: Ewaluacja – kwestie ogólne, Warszawa 2005. • K. Sekutowicz, Monitorowanie i ewaluacja, w: Zarządzanie, planowanie i ocena własnych działań, red. D. Głażewska, Warszawa 2006. • J. Szymańska, Programy profilaktyczne. Podstawy profesjonalnej psychoprofilaktyki, Warszawa 2015. W załączniku prezentujemy schemat pomocny w planowaniu i projektowaniu ewaluacji programu profilaktycznego.