Co profilaktyk powinien wiedzieć o ewaluacji programów profilaktycznych
Cel ewaluacji może być prosty, w przypadku np. analizy przydatności i funkcjonowania programu w określonych warunkach, w danej instytucji, czyli w jednej szkole, czy w jednej świetlicy socjoterapeutycznej. W takim wypadku zasób potrzebnej wiedzy nie jest duży, nie ma potrzeby znajomości całego warsztatu metodologicznego, schemat badawczy jest bardzo prosty, grupa odbiorców z definicji mała, stosowane są proste narzędzia, a analizy statystyczne mogą się sprowadzać do porównania frekwencji na kolejnych zajęciach.
Inna jest sytuacja – i inny zakres wiedzy – w przypadku programów, które mają być upowszechniane w szerszym środowisku, czyli poza pierwotnym miejscem realizacji. Tutaj wchodzimy w obszar bardziej zaawansowanych schematów badawczych, powstaje kwestia doboru grup eksperymentalnej i porównawczej, dochodzą pomiary „przed” i „po” z follow-upem, wprowadzenie wystandaryzowanych narzędzi i procedur badania oraz analizy statystyczne adekwatne do oceny zakładanych wyników.
Analiza procesu realizacji programu, czyli dokumentacja tego, co się wydarzyło w czasie programu – to kolejny dział wiedzy dla każdego.
Opis ewaluacji procesu – również tworzony na podstawie protokołu badania ustalonego przed rozpoczęciem działań – powinien obejmować informacje o tym:
- jakie wskaźniki będą zbierane
- kiedy, przez- i od kogo
- jakimi metodami
- jakie będą sposoby analizy danych i jak będą prezentowane wyniki.
To jest podstawa, elementarz dla wszystkich.
Jeśli chodzi o ewaluację wyników, rzecz jest bardziej skomplikowana.
W tym wypadku wiedza nt. schematu badawczego nie jest niezbędna dla wszystkich, natomiast umiejętność precyzyjnego opisu populacji objętej badaniem, to rzecz na pewno obowiązkowa dla współpracy przy tego rodzaju badaniach.
Podobnie umiejętność opisu narzędzi i procedur zbierania danych, opisu procedury analizy danych oraz interpretacji wyników – to są rzeczy kluczowe i wymagające specjalisty.
Każdy profilaktyk powinien umieć wybrać kryteria sukcesu adekwatne do celu programu i ewaluacji.
Tutaj trzeba zadecydować, czy np. kryterium sukcesu będzie stopień realizacji działań zaplanowanych w programie, czy osiągnięcie celów szczegółowych, czy, bardzo ambitnie, sukcesem będzie dopiero osiągnięcie celu głównego programu.
Każde z wymienionych kryteriów wymaga zastosowania innej metodologii badań, a im bardziej ambitne kryterium, tym bardziej skomplikowana ewaluacja i tym większa potrzeba wiedzy na jej temat.
Autorzy programów powinni mieć też wiedzę na temat metod zbierania danych ewaluacyjnych – ilościowych i jakościowych.
Analiza uzyskanych danych to sprawa prosta w przypadku badania poszczególnych placówek, natomiast jeśli program miałby zostać upowszechniony w innych miejscach, badanie musiałoby dostarczyć informacji o populacji większej niż tylko uczestnicy programu i wtedy staje się dość skomplikowane.
Wątpliwe jest, czy da się nauczyć w krótkim czasie prowadzenia poprawnych metodologicznie badań ewaluacyjnych, które miałyby służyć uzasadnieniu rozpowszechnienia programu, dlatego najrozsądniejszym rozwiązaniem w tej sytuacji jest skorzystanie z pomocy eksperta.