Formułowanie wskaźników, dobór działań oraz ewaluacja programów profilaktycznych i promocji zdrowia psychicznego

Artykuł jest pierwszym z cyklu tekstów prezentujących fragmenty „Przewodnika metodycznego po programach promocji zdrowia psychicznego i profilaktyki” wydanego w 2010 r. przez Fundację ETOH.

Poniżej prezentuję:

• podstawowe zasady tworzenia wskaźników realizacji działań i osiągania zaplanowanych efektów, a także wybrane zagadnienia metodologiczne związane z ewaluacją: procesu, formatywną oraz – w mniejszym zakresie – wyników/konkluzywną;
• kwestię doboru działań w kontekście realizacji celów i osiągania spodziewanych efektów;
• rekomendacje dotyczące sposobu prezentacji materiału zgromadzonego w trakcie wdrażania procedur ewaluacyjnych;
• na koniec przybliżam pojęcie triangulacji odnosząc je do kilku płaszczyzn analizy projektu.

Artykuł adresowany jest do tych (przyszłych) twórców programów, którzy mają już pewne doświadczenie w komponowaniu i realizacji projektów¹⁾, dysponują pewnym zakresem wiedzy metodycznej i poszukują inspiracji mogących systematyzować oraz kierunkować ich przyszłe poszukiwania i programy, podejmowane w ramach prewencji²⁾ i promocji zdrowia psychicznego.

Cele a paradygmat naukowy

Sposób, w jaki określa się cele, definiuje wskaźniki, dobiera działania czy procedury ewaluacyjne uzależniony jest od paradygmatu nauki (lub węższym pojęciu – dyscypliny naukowej) i powiązanego z nim zaplecza teoretycznego, do którego odnosi się projekt.

Paradygmat (…) to najszersza jednostka konsensu w obrębie nauki, pozwalająca odróżnić jedną wspólnotę (lub pod-wspólnotę) naukową od drugiej. Porządkuje on, definiuje i wiąże ze sobą istniejące w obrębie takiej wspólnoty wzorcowe osiągnięcia (exemplars), teorie, metody i narzędzia badawcze³⁾.

Można np. kierować się paradygmatem (neo)pozytywistycznym (scjentystycznym, konwencjonalnym, „ilościowym”) ukierunkowanym dedukcyjnie („od ogółu do szczegółu”), zgodnie z którym opracowując i wdrażając program należy przestrzegać zasady niesprzeczności paradygmatycznej, w myśl której nie powinno się np. opierać koncepcji i celów projektu na behawioryzmie i zarazem poszukując technik oddziaływania (wpływu) czy procedur ewaluacji, inspirować się psychologią humanistyczną.

Zasada niesprzeczności paradygmatycznej oznacza (…), iż założenia, które stanowią podstawę programu profilaktycznego oraz środki działania tak twórcy, realizatora programu, jak i ewaluatora, powinny zostać wyprowadzone z tej samej koncepcji teoretycznej, a przynajmniej z koncepcji, które należą do tego samego paradygmatu psychologicznego⁴⁾, a także socjologicznego, medycznego (zdrowia i choroby), itp.

Zasada ta może jednak stracić swą moc strukturalizowania pracy nad projektem wówczas, gdy za podstawę przyjmie się inny niż neopozytywistyczny układ odniesienia.

Rys. 1. Niesprzeczność paradygmatyczna

KONCEPCJA TEORETYCZNA ↓ ZAŁOŻENIA, KONCEPCJA PROJEKTU ↓ REALIZOWANE CELE ↓ METODY I TECHNIKI UŻYWANE PRZEZ: TWÓRCÓW PROJEKTU REALIZATORÓW EWALUATORÓW ↓ SPODZIEWANE REZULTATY

Zgodnie z ujęciem naturalistycznym (interpretatywnym, konstruktywistycznym, „jakościowym”) preferuje się podejście indukcyjne („od szczegółu do ogółu”). Paradygmat ten dopuszcza np. możliwość, że program opiera się na behawioryzmie, a ewaluowany jest z perspektywy psychoanalitycznej (np. po to, aby sprawdzić obszary ewentualnego wpływu poddawanych ocenie oddziaływań, które wykraczają poza behawioryzm).

Nie ma tu miejsca na opis wspomnianych paradygmatów, chciałbym jedynie zwrócić uwagę na jedno pytanie i wiążący się z nim postulat. Jaki paradygmat należy wybrać tworząc lub oceniając programy z zakresu profilaktyki i promocji zdrowia psychicznego? W podjęciu decyzji pomocne mogą być czasem takie czynniki jak specyfika problemu, którego dotyczyć ma projekt, dostępne środki oddziaływań (które już – implicite lub explicite – odwołują się do jakiejś koncepcji), czy doświadczenie (realizacyjne, naukowe, badawcze) osób zaangażowanych w tworzenie, wdrażanie i ewaluowanie projektu. Warto jednak podkreślić, że na to pytanie trudno udzielić jednoznacznej odpowiedzi. Wybór paradygmatu jest przede wszystkim wyborem odnoszącym się do sfery aksjologicznej, preferencji indywidualnych (twórców projektu, badaczy, itd.) i w tym sensie – arbitralnym. Można jednak sformułować czytelny postulat: przystępując do tworzenia lub ewaluacji programu należy być świadomym paradygmatu i zaplecza teoretycznego, do którego planowane działania mają się odnosić.

Wskaźniki, czyli co uznamy za sukces, a co za porażkę

Wskaźniki powinny w czytelny sposób wynikać z celów szczegółowych projektu (a te z kolei być powiązane z celem głównym). Do poszczególnych celów powinien być przypisany co najmniej jeden wskaźnik.

Wskaźniki – mierniki służące do oceny skuteczności programu lub realizacji działań programu⁵⁾

Na podstawie wskaźników można dokonać oceny: 1) czy/w jakim zakresie podjęto zaplanowane działania i 2) czy/w jakim zakresie osiągnięto zakładane efekty (wskaźniki mogą także odnosić się do efektywności i odpowiadać na pytanie: czy efekt został osiągnięty z wykorzystaniem przewidzianych środków/nakładów). Dlatego powinny być one mierzalne (sformułowane w wymierny sposób)⁶⁾. Należy pamiętać, że definiowanie wskaźników ma bezpośrednie przełożenie na to co zostanie uznane za sukces/porażkę w realizacji projektu. To jak zdefiniuje się wskaźniki nie zawsze uzależnione jest przez czynniki zewnętrzne (np. możliwe do pozyskania fundusze, które determinują wielkość grupy uczestników zajęć, jakość wydrukowanych materiałów, itd.). Chcąc uniknąć arbitralności, formułując wskaźniki można m.in.: ● skonfrontować definicje osiągnięcia celu/ów jakie formułują różne podmioty – osoby zainteresowane programem (np. badacze, twórcy i realizatorzy ewaluowanego projektu, rodzice uczniów objętych programem prewencyjnym, itp.), instytucje (np. lokalna komisja rozwiązywania problemów alkoholowych)⁷⁾; ● sprawdzić, w jaki sposób definiowano wskaźniki w podobnych projektach.

Zwykle rekomenduje się, aby etap formułowania wskaźników poprzedzał realizację programu. Ustalanie ich w trakcie wdrażania zaplanowanych działań lub ex post, czyli po zakończeniu, może stwarzać ryzyko dostosowywania wskaźników do faktycznie zrealizowanego, a nie zaprojektowanego zakresu aktywności. Czasami jednak możliwa jest modyfikacja wskaźników w trakcie realizacji projektu – wówczas gdy zmianie ulega sam projekt, bo np. popełniono błędy podczas diagnozy, nie dość precyzyjnie określając potrzeby adresatów lub program przyjmuje do pewnego stopnia otwartą formułę, która dopuszcza dookreślenie pewnych obszarów projektu w trakcie jego wdrażania (na podstawie gromadzonych i na bieżąco analizowanych doświadczeń i danych). Należy jednak pamiętać, że modyfikacja wskaźników (ewentualnie – procedura ich modyfikacji) powinna być w sposób przekonujący uzasadniona i czytelna, inaczej można narazić się na zarzut nieuprawnionej manipulacji.

Formując wskaźniki warto kierować się pewnymi standardami, które wyraża tzw. reguła SMART (z ang. – mądry, sprytny). Wskaźniki (podobnie jak cele) powinny:

• odnosić się do grupy docelowej programu (S – specific),
• być sformułowane w formie mierzalnych rezultatów (M – measurable),
• być sformułowane w formie oczekiwanej zmiany (A – action-oriented),
• być realistyczne, możliwe do osiągnięcia (R – realistic),
• być określone w czasie (T – timed)⁸⁾.

Jeśli pojawiają się problemy z klarownym sformułowaniem wskaźników, należy sprawdzić czy cele zostały zdefiniowane w czytelny i jednoznaczny sposób. W tabeli 1 prezentuję przykładowe wskaźniki realizacji działań oraz efektów.

Tabela 1. Przykładowe wskaźniki

Wskaźnik	Procedura ewaluacyjna / metoda badawcza	Technika/narzędzie
W okresie wdrażania programu: udział co najmniej 120 uczniów w dziewięciu spośród dziesięciu zajęć przeprowadzonych w ramach projektu (wskaźnik realizacji działań).	Monitorowanie frekwencji na poszczególnych zajęciach.	Arkusz frekwencji
W okresie wdrażania programu: dystrybucja 500 ulotek edukacyjno-profilaktycznych wśród uczestników imprez organizowanych w klubach… tu nazwy klubów (wskaźnik realizacji działań).	Sprawozdania z realizacji programu.	Arkusz sprawozdania
Bezpośrednio po zakończeniu zajęć: zmniejszenie – w stosunku do okresu bezpośrednio sprzed interwencji – co najmniej do 10 proc. grupy rodziców objętych oddziaływaniem, udzielających więcej niż dwóch niepoprawnych odpowiedzi na pytania testu z zakresu wiedzy na temat nielegalnych substancji psychoaktywnych (wskaźnik osiągnięcia efektów).	Schemat z dwukrotnym pomiarem w jednej grupie: pretest (bezpośrednio przed rozpoczęciem programu) i posttest (bezpośrednio po zakończeniu).	Test wiedzy… tu należy podać nazwę narzędzia i wskazać autorów, źródło.
Trzydzieści dni po zakończeniu programu: w porównaniu z grupą kontrolną, zwiększenie co najmniej o 15 proc. grupy uczniów objętych oddziaływaniem, deklarujących niepicie napojów alkoholowych (z wyróżnieniem piwa, wina, wódki i drinków) w okresie ostatnich trzydziestu dni w stosunku do okresu bezpośrednio sprzed interwencji (wskaźnik osiągnięcia efektów).	Schemat pretest (bezpośrednio przed rozpoczęciem programu) – posttest (30 dni po zakończeniu oddziaływań) z losowym podziałem na grupę eksperymentalną i kontrolną.	Ankieta audytoryjna

Dobór działań i ich ewaluacja

Ewaluacja to, najogólniej mówiąc i zarazem upraszczając, ocena/badanie wartości, jakości. Czasem podkreśla się, że ocena ta nie tyle stanowi punkt „wyjścia”, ile „dojścia” – jest efektem procesu społecznych interakcji, nie zaś czymś w rodzaju technokratycznie zaprogramowanej sekwencji zdarzeń⁹⁾.

Ewaluacja (…) to systematyczne gromadzenie informacji o programie w celu umożliwienia podejmowania decyzji o przyszłości programu (np. kontynuacji, replikacji, modyfikacji, zaniechaniu)¹⁰⁾.

Ewaluacja jest to zbieranie i wykorzystywanie informacji w celu odpowiedzi na pytania dotyczące Twojego programu. Jest to sposób na zdobycie większej ilości informacji o programie, niż było dostępnych przed przystąpieniem do jego realizacji¹¹⁾.

Ewaluacja. Ocena wartości (jakości) jakiegoś obiektu lub (projektowanego, wdrażanego albo zakończonego) procesu (np. programu profilaktycznego, edukacyjnego, terapeutycznego)¹²⁾.

Planując ewaluację należy pamiętać o jej aksjo-normatywnym zakorzenieniu. Można traktować ją jako formę dyskursu, którego ogólnym celem jest kształtowanie, wzmacnianie społeczeństwa obywatelskiego. W tym kontekście używa się określenia ewaluacja demokratyczna, która nastawiona jest (…) na uwzględnienie różnych interesów i punktów widzenia uczestniczących w niej stron zgodnie z ich własną definicją i interpretacją. Ewaluator jest w tym przypadku nie tyle osobą formułującą oceny, ile pośrednikiem w wymianie informacji, przekonań i doświadczeń, i to w sposób, który nie pozbawia nikogo kontroli nad ich użyciem i interpretacją¹³⁾. Zgodnie z prezentowanym tu stanowiskiem, ewaluacja nie tyle powinna być formą dyscyplinującej kontroli (jak czasem jest ujmowana), ile formą wsparcia mającą na celu podtrzymanie lub poprawę jakości projektu albo też innych – podobnych do ewaluowanych – sekwencji działań. A w szerszym ujęciu celem ewaluacji jest kreowanie kapitału społecznego (którego kultura ewaluacyjna jest jednym ze składników).

Opracowując program należy korzystać z metod i technik oddziaływania dostosowanych do odbiorcy i celów, bazując na wiedzy o czynnikach chroniących i ryzyka. Przystępując do tworzenia projektu warto na bieżąco kontrolować czy: • przyjęte/wypracowane rozwiązania są zgodne z decyzjami podjętymi w zakresie koncepcji teoretycznych, strategii i celów, • cały projekt układa się w spójną (logiczną) całość, a także • jaki może być (potencjalny) wpływ przygotowywanych działań na bezpośrednich i pośrednich odbiorców (i to nie tylko w zakresie, którego projekt dotyczy wprost, ale także w odniesieniu do zależności o mniej oczywistym, czy nie przewidywanym pierwotnie przez twórców charakterze)?¹⁴⁾

Wśród działań dość powszechnie uważanych za prewencyjne są i takie, które w opinii specjalistów (podbudowanej badaniami) nie mogą uchodzić za samodzielne strategie z zakresu profilaktyki i promocji zdrowia psychicznego (gdyż nie przynoszą spodziewanych efektów). Do tego grona należą zajęcia sportowe, które mogą stanowić element skutecznego zespołu szerszych oddziaływań, nie zaś być jedynymi aktywnościami podejmowanymi w ramach profilaktyki. Opracowując program można odwołać się m.in. do następujących strategii, które zostały pomyślnie zweryfikowane w badaniach ewaluacyjnych:¹⁵⁾

• kształtowania kompetencji wychowawczych (teoria przywiązania Johna Bowlby’ego),
• edukacji rówieśniczej (teoria społecznego uczenia Alfreda Bandury),
• edukacji normatywnej (teoria uzasadnionego działania Icka Ajzena i Martina Fishbeina), w tym z wykorzystaniem strategii alternatyw (teoria zachowań problemowych Richarda Jessora),
• kształtowania umiejętności życiowych (teoria – j. w.),
• rozwoju zasobów środowiskowych (koncepcja resilience).

Ewaluacja może być wykorzystywana na każdym etapie tworzenia i wdrażania projektu. Jak zauważa Katarzyna Okulicz-Kozaryn, przystępując do opracowywania koncepcji działań warto kierować się:

• ewaluacją etyczną (odpowiada na pytanie „Czy taki program jest zgodny z moimi wartościami?”, np. „Czy akceptuję straszenie tragicznymi skutkami brania narkotyków, czyli manipulację danymi? (…));
• historyczną (jest to ekspertyza oparta na wynikach badań oraz wcześniejszych doświadczeniach, która ma dostarczyć odpowiedzi na pytanie „Czy komuś, kiedyś udało się zrobić coś podobnego do tego, co ja zamierzam i czy przyniosło to pożądane skutki?”); (…)
• metodologiczną (jest niezbędnym uzupełnieniem „ewaluacji historycznej”, ponieważ odpowiada na pytanie „Na ile wiarygodne są wyniki badań, na których opieram swoje wnioski i pomysły (…)?”)¹⁶⁾.

Wówczas, gdy została opracowana/dostosowana koncepcja działań, można przejść do tworzenia poszczególnych elementów programu. Biorąc pod uwagę spodziewane nakłady (finansowe, czas i in.) jakie trzeba będzie ponieść oraz dostępne zasoby (związane z doświadczeniem zawodowym twórców, techniczne i in.), warto zadać sobie pytanie¹⁷⁾: czy właściwsze będzie opracowanie własnego narzędzia (np. scenariusza ćwiczenia, filmu profilaktycznego, kwestionariusza, itp.), czy też skorzystanie z już dostępnego, zweryfikowanego w badaniach ewaluacyjnych i/lub cieszącego się dobrą opinią praktyków?

Należy także odnosić planowane/dostępne środki oddziaływania do założonych celów. Może się bowiem okazać, że cele zostały sformułowane zbyt ambitnie w stosunku do możliwości realizacyjnych. Jeśli tak, wymagać to będzie przeformułowania celów. Przykładowo, takim nierealistycznym celem, byłoby oczekiwanie ograniczania konsumpcji spożywania napojów alkoholowych (czyli zmiany zachowania) przez uczniów uczestniczących w oddziaływaniach, na które składają się: wygłoszona przez nauczyciela prelekcja poświęcona szkodliwości picia, godzinne spotkanie z tzw. trzeźwym alkoholikiem, zakończone prezentacją kilkunastominutowego filmu profilaktycznego i rozdaniem ulotek. W tym przypadku jedyne mierzalne zmiany jakich można by realistycznie oczekiwać dotyczyłyby zakresu wiedzy.

Ze względu na cel i etap wdrażania programu stosuje się też inny, niż wspomniany powyżej trójpodział ewaluacji, na: procesu, formatywną i wyników/konkluzywną. Może ona mieć jakościowy lub ilościowy charakter. O tym jaką przybierze formę decyduje przyjęty paradygmat, cel, a także praktyczna możliwość stosowania odpowiednich procedur.

Ewaluacja formatywna

Pomocna przy opracowaniu programu może być ewaluacja formatywna, której celem będzie odpowiedź na pytanie: czy/na ile przyjęte rozwiązania (techniki oddziaływania) przyczyniają się do realizacji założonych celów (uzyskiwania zaplanowanych efektów)? A w przypadku, gdy program nie przynosi spodziewanych rezultatów, to: jakich dokonać zmian, aby osiągnąć założone cele (efekty)? Wówczas często korzysta się z jakościowych i ilościowych technik badawczych, a także stosuje nieskomplikowane schematy eksperymentalne.

Ewaluacja formatywna (formative evaluation): Jej celem jest optymalizacja ewaluowanego programu – podniesienie jakości, doskonalenie, wybór rozwiązań ocenianych za najwłaściwsze.¹²

Kilka przykładów. Przy podejmowaniu decyzji dotyczącej końcowej formy materiałów edukacyjnych (ulotek, prezentacji, broszur, spotów) można opinie na temat różnych ich wersji zebrać w trakcie zogniskowanych wywiadów grupowych. Jedną z zalet tej techniki badawczej jest możliwość dyskutowania na bieżąco pojawiających się pomysłów i opinii. Chcąc np. sprawdzić czy wskutek programu dokonała się zmiana w zakresie wiedzy można wykorzystać schemat pretest – posttest (bez grupy kontrolnej) i za pomocą ankiety audytoryjnej, będącej testem wiedzy, sprawdzić czy/jakie zaszły zmiany. Inny sposób to przeprowadzenie ewaluacji w trakcie trwania projektu lub ex post (po zakończeniu) za pośrednictwem indywidualnych wywiadów pogłębionych, mających na celu poznanie ocen programu (zakres merytoryczny, realizacja) i (ewentualnych) propozycji modyfikacji formułowanych przez odbiorców bezpośrednich i pośrednich. Badania można prowadzić także on-line. Tych kilka przykładów nie wyczerpuje, rzecz jasna, zakresu metod i technik badawczych, które można wykorzystać w procesie optymalizacji programu. Służą one jedynie wskazaniu, że ewaluacja (formatywna, a także inna) może być realizowana w zróżnicowany sposób i – nie tylko moim zdaniem – zazwyczaj najlepsze efekty daje łączenie jakościowego i ilościowego podejścia. Zwrócenie uwagi na to zróżnicowanie jest tym bardziej uzasadnione, że niekiedy ewaluację utożsamia się z pomiarami ilościowymi dokonywanymi za pośrednictwem ankiet (testów dydaktycznych, psycho- i socjometrycznych). Takie (nieuprawnione) zawężanie ewaluacji wywodzi się jeszcze z pierwszego okresu kształtowania studiów ewaluacyjnych i trwa, mimo daleko idących zmian jakie zaszły od tego czasu w sposobie pojmowania, definiowania (roli) procesu ewaluacji. Jak zauważa Leszek Korporowicz: Taki rodzaj redukcjonizmu w ewaluacji, szczególnie edukacyjnej, ale również w ewaluacji wielu programów społecznych możemy obserwować (…) we współczesnej fazie rozwoju wielu polskich programów i szkoleń ewaluacyjnych¹⁸⁾. Warto ponadto dodać, że ewaluacja formatywna nie musi być realizowana wyłącznie za pośrednictwem badań. Może bowiem przybrać formę recenzji (np. przeprowadzanej przez grupę ekspertów z danej dziedziny lub dziedzin, do których odnosi się program). Za szczególną formę ewaluacji formatywnej można również uznać superwizję (ewaluację i superwizję traktować też można jako dwie odrębne metody, które mogą się wzajemnie uzupełniać).

Jeżeli mamy do czynienia z programem, który nie ma wyłącznie tzw. autorskiego charakteru, tzn. nie jest wdrażany jedynie przez autora, lecz przez grono realizatorów, to wówczas potrzebne staje się sformułowanie warunków jakie powinny być spełnione, aby projekt mógł zostać wdrożony. Oznacza to (…) określenie standardów realizacji (…), czyli takich minimalnych wartości podstawowych wskaźników jakości realizacji programu, których spełnienie powinno przynieść określone profilaktyczne efekty¹⁹⁾. Standardy te winny bezpośrednio wynikać z celów i założeń programu z jednej strony, zaś z drugiej odpowiadać warunkom realizacyjnym i osiągniętym efektom, jakie odnotowano na etapie ewaluacji formatywnej (standardy te można poddać dalszej weryfikacji w ramach ewaluacji wyników). Warunki realizacyjne mogą dotyczyć np. zdefiniowania dopuszczalnego zróżnicowania grupy docelowej (np. uczniowie w wieku od 11 do 12 lat), minimalnej liczby zajęć jakie należy przeprowadzić, kompetencji realizatorów, liczby osób prowadzących zajęcia/warsztaty, minimalnej/maksymalnej wielkości grupy uczestników, jakości materiałów wykorzystywanych w trakcie wdrażania programu i in.

Pozytywny wynik ewaluacji formatywnej może stanowić ważną rekomendację do przeprowadzenia badań w ramach ewaluacji wyników. Ewaluację formatywną można stosować nie tylko w trakcie opracowywania programu, lecz także później, kiedy dostrzeżona zostanie potrzeba modyfikacji projektu, np. wówczas, gdy od momentu realizacji ostatnich badań ewaluacyjnych minęło już sporo czasu i zasadnie można przypuszczać, że warunki społeczno-kulturowe (język używany przez młodzież, rzeczywistość technologiczna, itp.) zmieniły się na tyle, że program w pewnych aspektach do nich już nie przystaje i wymaga aktualizacji. Więcej, prowadzenie ewaluacji formatywnej może być wypisane w każdorazową realizację programu, tzn. uwzględnianie jej wyników przekładałoby się wówczas na ewentualną modyfikację projektu (i odwrotnie – zmiany poczynione w programie mogą prowadzić do modyfikacji pytań badawczych, wykorzystywanych technik, itp.).

Ewaluacja wyników/konkluzywna

Celem procedur realizowanych w ramach ewaluacji wyników (inaczej: konkluzywnej, sumatywnej, podsumowującej) jest nie tyle optymalizacja projektu (jak w przypadku ewaluacji formatywnej), ile udzielenie wiążącej odpowiedzi na pytanie o skuteczność podjętych w ramach programu działań. Wówczas gdy uzyskane rezultaty porównuje się do poniesionych nakładów badana jest efektywność²⁰⁾. Można np. przedmiotem analizy uczynić odpowiedź na pytanie: czy poniesione koszty (finansowe, czasowe, organizacyjne, itd.) przełożyły się w zadowalającym stopniu na odnotowane efekty?

Skuteczność. Skuteczność jest mierzona przez stopień, w jaki zamierzone efekty programu zostały osiągnięte, na ile są trwałe, a także jak oddziałują na otoczenie. Dobry program skutecznie i trwale rozwiązuje problemy, z powodu których był realizowany, ma również pozytywny wpływ na swoje otoczenie²¹⁾.

Ewaluacja konkluzywna (summative evaluation): Koncentruje się na analizie rezultatów lub skutków programu poprzez wykrycie wszystkich znajdują­cych się w polu analizy konsekwencji o planowanym i nie planowanym charakterze. Wnioski z tych analiz w postaci konkluzji uzupełnione są często rekomendacjami dotyczącymi przyszłych programów lub decyzji²²⁾.

Zdarza się, że w ujęciu neopozytywistycznym temu wymiarowi ewaluacji (w odróżnieniu od ewaluacji procesu i formatywnej), w ocenie skuteczności projektu, przypisuje się status naukowości, a co za tym idzie konieczność stosowania schematów (quasi)eksperymentalnych²³⁾ realizowanych na losowo dobranych próbach.

Jak stwierdzają Katarzyna Okulicz-Kozaryn i Anna Borucka (reprezentujące paradygmat neopozytywistyczny): Dane pozyskiwane od uczestników programu trzeba porównać z danymi (zebranymi w tym samym czasie) od osób, które w nim nie brały udziału. Tylko to pozwala stwierdzić, czy zmiany jakie obserwujemy u odbiorców programu są efektem tego, że uczestniczyli w proponowanych im działaniach (…)²⁴⁾ Konieczne jest przeprowadzenie badań z podziałem na grupę eksperymentalną (uczestniczącą w programie) i kontrolną (nie uczestniczącą). Wymagane jest dokonanie pomiaru (w obu grupach) przed rozpoczęciem projektu (pretest), bezpośrednio po jego zakończeniu (posttest), ważne też jest badanie trwałości zaobserwowanej zmiany (efektów odroczonych), czyli przeprowadzenie drugiego posttestu (przynajmniej rok po zakończeniu oddziaływań). W myśl tej koncepcji badania jakościowe (wywiady pogłębione, wywiady grupowe, obserwacje, itp.) mogą odgrywać jedynie rolę pomocniczą (np. w trakcie pilotażu narzędzi albo dla lepszej interpretacji danych ilościowych).

Jak nadmieniałem, nie jest to jedyne możliwe podejście, zgodnie z drugim z wymienionych na wstępie paradygmatów, stosowanie metodologii jakościowej w badaniach mających na celu ocenę skuteczności projektu, jest w pełni uprawnione. Możliwe jest także łączenie metod ilościowych z podejściem jakościowym, w różnym zakresie – w tym w sposób równorzędny. Stosowanie wyłącznie ilościowej metodologii – schematów eksperymentalnych bywa krytykowane jako nieuzasadnione zawężenie perspektywy poznawczej.

Wybór metodologii zależy od tego w ramach jakiego paradygmatu ma być realizowana ewaluacja, a także od typu programu i możliwości realizacyjnych. Ze względów technicznych (organizacyjnych) trudno byłoby np. zrealizować badania w schemacie pretest – postest 1 – postest 2 z randomizowanym podziałem na grupę eksperymentalną i kontrolną, ewaluując projekt harm reduction adresowany do trudno dostępnych grup (np. niektórych mniejszości); dotyczy to także wielu programów partyworkerskich prowadzonych w trakcie imprez klubowych. Trudno też o spełnienie warunków koniecznych przy prowadzeniu takich badań ewaluując programy specyficzne – ukierunkowane na realizację potrzeb (rozwiązywanie problemów, przeciwdziałanie zagrożeniom, wzmacnianie potencjału) konkretnej grupy. Badania w schemacie eksperymentalnym z powodzeniem można natomiast realizować np. ewaluując projekty wdrażane w szkole i adresowane do uczniów, nauczycieli czy rodziców. Zwykle są to badania względnie kosztowne i długotrwałe. Pozwalają one jednak (jeśli są dobrze zrealizowane) na uzyskiwanie wiarygodnych, ilościowo wyrażonych odpowiedzi na pytanie o skuteczność podjętych działań (np. że w wyniku przeprowadzonych zajęć, bezpośrednio po ich zakończeniu, a także 12 miesięcy po realizacji projektu, w grupie eksperymentalnej, w porównaniu z grupą kontrolną, nastąpił statystycznie istotny spadek odsetka osób deklarujących spożywanie piwa, wina i wódki w okresie 30 dni poprzedzających pomiary).

W tabeli 2 przedstawiam zestawienie ilustrujące zakres informacji, jaki można uzyskać stosując wybrane schematy badawcze.

Tabela 2. Przykładowe zakresy informacji możliwe do pozyskania w ramach wybranych schematów badawczych, w których w roli respondentów występują adresaci projektu.

Schemat badawczy	Przykładowe informacje	Przykładowe techniki badawcze	Uwagi
Ewaluacja ex post	Ocena sposobu wdrażania projektu (np. komunikatywność osób prowadzących, ich przygotowanie do zajęć, jakość materiałów, dynamika spotkań). Zmiany w programie postulowane przez badanych w odniesieniu do sfery merytorycznej, jak i organizacyjnej. Subiektywna ocena wpływu projektu na postawy i zachowania adresatów (np. zmiana zakresu wiedzy, doskonalenie umiejętności komunikacyjnych, dowartościowanie, samopoznanie). Zmiana sytuacji respondentów (np. znalezienie pracy dzięki kursowi zawodowemu, podjęcie terapii). Subiektywna ocena realizacji potrzeb, zadowolenia z udziału w programie.	Ankieta Wywiad kwestionariuszowy Wywiad pogłębiony Zogniskowany wywiad grupowy Analiza materiałów zastanych (dokumentów)	Brak możliwości bezpośredniego odniesienia do stanu sprzed interwencji; porównanie takie jest możliwe wyłącznie w sposób zapośredniczony – poprzez informacje zapamiętane przez respondentów. W ujęciu neopozytywistycznym ten rodzaj ewaluacji nie stwarza możliwości dostarczenia dowodów na to, że jakiekolwiek z relacjonowanych zmian zostały spowodowane udziałem w programie.
Schemat z dwukrotnym pomiarem w tej samej grupie: pretest (przed rozpoczęciem ewaluowanego programu) i posttest (po jego zakończeniu).	Określenie zmiany postaw i zachowań adresatów.	Ankieta (często audytoryjna) Wywiad kwestionariuszowy Obserwacja	Niekiedy trudność sprawiać może zadowalające powiązanie rejestrowanych zmian z wpływem ewaluowanego programu (przypisanie obserwowanego stanu podjętej interwencji). Niektóre zmiany mogą być niedostrzegalne (np. rejestrowany jest trend wzrostowy wartości jakiejś zmiennej, ale już nie jego osłabienie – odnotowano wzrost częstości spożycia napojów alkoholowych, ale nie to, że wskutek interwencji jest on istotnie mniejszy).
Schemat szeregów czasowych: kilkukrotne pomiary przed rozpoczęciem programu i po jego zakończeniu.	Określenie zmiany postaw i zachowań adresatów, a także ich trwałości. Schemat ten pozwala na śledzenie stopnia, w jakim podjęta interwencja wpłynęła na zmianę dynamiki procesów zarejestrowanych przed realizacją programu, w porównaniu do okresu po dokonaniu interwencji.	Ankieta (często audytoryjna) Wywiad kwestionariuszowy Obserwacja	Podobnie jak poprzednio: część zmian może być nadal niedostrzegalna (np. niekiedy trudno zbadać coś co wskutek programu się nie wydarzyło); niekiedy trudność sprawiać może zadowalające powiązanie rejestrowanych zmian z wpływem ewaluowanego programu (chociaż – w porównaniu do poprzedniego schematu – wzrasta stopień pewności).
Schemat pretest – posttest z (losowym) podziałem na grupę eksperymentalną (ekspozycja na oddziaływanie programu) i kontrolną (brak ekspozycji).	Określenie zmiany postaw i zachowań w grupie eksperymentalnej w odniesieniu do grupy kontrolnej, rejestrowanej pomiędzy pretestem a posttestem.	Ankieta (często audytoryjna) Wywiad kwestionariuszowy Obserwacja	Schemat ten pozwala dostrzec zmiany, które mogłyby pozostać niewidoczne bez grupy kontrolnej (może się np. okazać, że został wyhamowany trend wzrostowy wartości jakiejś zmiennej – wzrost częstości spożycia napojów alkoholowych w grupie eksperymentalnej był w statystycznie istotnym stopniu mniejszy niż w grupie kontrolnej). Należy dążyć do zastosowania losowego doboru próby (podział na grupę eksperymentalną i kontrolną). Przy losowym doborze próby i kontrolowaniu istotnych zmiennych, z zadowalającym prawdopodobieństwem można przyjąć, że różnice rejestrowane pomiędzy grupami eksperymentalną i kontrolną, zostały spowodowane udziałem grupy eksperymentalnej w programie.
Schemat pretest – postest 1 – postest 2 (i ewentualnie kolejne) z (losowym) podziałem na grupę eksperymentalną (ekspozycja na oddziaływanie programu) i kontrolną (brak ekspozycji).	Określenie trwałości zmiany postaw i zachowań w grupie eksperymentalnej w odniesieniu do grupy kontrolnej pomiędzy pretestem a kolejnymi posttestami.	Ankieta (często audytoryjna) Wywiad kwestionariuszowy Obserwacja	Uwagi j. w.

Ewaluacja procesu i prezentacja danych

Poszczególne realizacje projektu nie muszą być jednorodne. Ewaluacja procesu (zwana także monitoringiem) może odpowiedzieć na pytanie: jak duże były to różnice i – ewentualnie – czy mieszczą się one w dopuszczalnych (wcześniej ustalonych) granicach. Ten rodzaj ewaluacji wykorzystywany też bywa do weryfikacji osiągania wskaźników realizacji zaplanowanych działań. Informacje jakie można gromadzić i analizować w ramach ewaluacji procesu odpowiadać mogą na trzy główne pytania: „kto?”, „co?” i „jak?”.

Ewaluacja procesu jest najbardziej elementarną formą oceny podejmowanych działań. Jej przedmiotem jest właśnie proces wdrażania projektu. W polu zainteresowania są (zaplanowane i niezaplanowane) działania mające związek z realizacją projektu podejmowane przez jego twórców, wykonawców i odbiorców oraz informacje o osobach zaangażowanych w projekt.¹²

Kto, czyli osoby będące bezpośrednimi (np. nauczyciele) i pośrednimi (ich uczniowie) odbiorcami projektu oraz realizatorzy działań. W zależności od potrzeb można gromadzić informacje dotyczące m.in.:

• charakterystyki socjodemograficznej uczestników i realizatorów²⁵⁾, np. wiek, płeć, liczba dzieci, wykształcenie, miejsce zamieszkania, stan cywilny, źródła dochodów, status materialny rodziny, informacje związane z obszarem problemowym, do którego odnosi się projekt (używanie substancji psychoaktywnych, przemoc, dysfunkcje psychospołeczne, itp.) i in.;
• doświadczenia zawodowego realizatorów (szczególnie pod kątem kompetencji wiążących się z wdrażaniem programu);
• frekwencji na poszczególnych zajęciach/spotkaniach/warsztatach.

Co i jak, czyli zakres wdrażania programu. Gromadzone dane obejmować mogą m.in.:

• zakres realizacji poszczególnych elementów projektu (scenariuszy zajęć, bloków tematycznych, itp.);
• harmonogram wdrażania poszczególnych elementów programu;
• rodzaj i sposób wykorzystania materiałów (ulotki, broszury, prezentacje, nagrania, itp.);
• zaplecze techniczne – informacje o miejscu realizacji programu (zapewnienie odpowiednich warunków pracy), jakość obsługi, wyżywienia i in.

Gromadzone dane oprócz dokumentowania przebiegu realizacji projektu, kolejnych jego edycji, służyć mogą także wprowadzaniu modyfikacji w sposobie wdrażania poszczególnych działań (czyli przybierają charakter formatywny): harmonogramu, sposobu rekrutacji uczestników, doboru realizatorów, itp. Użyteczność tego wymiaru ewaluacji zwykle znacząco wzrasta wówczas, gdy prowadzona jest w sposób systematyczny – pozwalając na zestawianie danych z kolejnych lat. Niekiedy bowiem dopiero po pewnym czasie można zaobserwować trendy odnoszące się do realizacji programu („małe liczby” nie ujawniają „małych” zmian) i zauważyć, że np. osoby, które w ciągu kilku edycji zrezygnowały z uczestnictwa w projekcie miały zbliżoną charakterystykę socjodemograficzną lub że pewien moduł programu częściej niż inne nie był realizowany w całości. Ponadto, ewaluacja procesu może także dostarczyć wymiernych informacji, które mogą stać się podstawą do oceny efektywności.

Teraz przejdę do omówienia wybranych zagadnień z zakresu prezentacji informacji gromadzonych w trakcie wdrażania procedur ewaluacyjnych. Zgodnie z tzw. postulatem jawności warsztatu naukowego (który ma zastosowanie także w studiach ewaluacyjnych) proces badawczy, dane i wnioski powinny być opisane w klarowny sposób. Nie wolno pomijać żadnych istotnych faktów (np. że z jakichś względów nie udało się zebrać zaplanowanej liczby ankiet) i danych (np. że w pewnej liczbie przypadków programu nie zrealizowano w całości).

Postulat jawności warsztatu naukowego (…) wymaga, aby cały proces badawczy odbywał się w pełnym świetle, tak aby każdej osobie kompetentnej umożliwić jego kontrolę, jeżeli jest to technicznie możliwe, albo przynajmniej udostępnić ocenę procesu badań na podstawie rzeczowej relacji autora²⁶⁾.

W raporcie z badań ewaluacyjnych należy przedstawić sposób doboru (np. losowy, celowy – wg jakich kryteriów?) i charakterystykę próby (liczebność, istotne – z perspektywy programu – dane socjodemograficzne, informacje odnoszące się do kluczowego problemu, np. używanie substancji psychoaktywnych). W wyczerpującym zakresie trzeba opisać zastosowane procedury ewaluacyjne, okres realizacji badań, a także wskazać kto je przeprowadzał, np.: osoby związane z ewaluowanym projektem, czy z zewnątrz. Powinny także zostać zamieszczone narzędzia, którymi posługiwano się gromadząc informacje (kwestionariusze, dyspozycje do wywiadów, itp.). Jeśli jest to niemożliwe, to należy wskazać uzasadnienie. Prezentując dane warto pamiętać o kilku podstawowych zasadach. Wybrane reguły przedstawiam poniżej²⁷⁾.

Niepoprawne jest prezentowanie wyłącznie odsetków czy proporcji bez liczebności (liczby przypadków). Wymogiem minimalnym jest podawanie podstawy procentowania (w tytule tabeli, na wykresie lub w tekście raportu). Poniżej przykładowa tabela 3 (liczebności zwykle oznacza się literą N). W tabeli zgodnie ze zwyczajem, odsetki podano z dokładnością do pierwszej liczby po przecinku, a (…) miejsca dziesiętne przystosowano tak, by suma odsetków była dokładnie równa 100,0²⁸⁾. Innym rozwiązaniem może być prezentowanie danych procentowych z zaokrągleniem do dziesiętnych, a ich sumowanie (w wierszu „Razem”) z zaokrągleniem do 100.

Tabela 3. Przykładowy sposób prezentacji danych

Odpowiedzi	Dziewczęta		Chłopcy		Razem
	N	Proc.	N	Proc.	N	Proc.
Tak	100	39,2	117	47,2	217	43,1
Raczej tak	90	35,3	70	28,2	160	31,8
Raczej nie	36	14,1	26	10,5	62	12,3
Nie	18	7,1	21	8,5	39	7,8
Trudno powiedzieć	8	3,1	5	2,0	13	2,6
Brak danych	3	1,2	9	3,6	12	2,4
Razem	255	100,0	248	100,0	503	100,0

Nie rekomenduje się prezentowania danych w postaci odsetków wówczas, gdy mamy do czynienia z niewielkimi liczebnościami. Co to znaczy „niewielka liczebność”? Hubert M. Blalock podaje np., że (…) nie wolno obliczać odsetków, gdy całkowita liczba przypadków jest mniejsza od 50²⁹⁾. Wydaje się, że w uzasadnionych przypadkach można tę granicę nieco obniżyć. W tym miejscu należy jednak wyraźnie zaznaczyć, że w ramach ewaluacji (szczególnie wyników) często prowadzi się badania na znacznie większych próbach.

Przedstawiając dane w postaci średnich arytmetycznych warto pamiętać, że nie rekomenduje się ich obliczania wówczas gdy zbiór danych zawiera liczebności o znacznej rozpiętości wartości skrajnych. Im większa rozpiętość wyrazów skrajnych, tym mniej dokładny, a zarazem mniej przydatny, wynik średniej. Przy dużych rozpiętościach wyrazów skrajnych wyniki średniej mogą być przyczyną bezsensownych wniosków³⁰⁾ Przykładowo, mylące byłoby podawanie średniej wówczas, gdy spośród pięciu koordynatorów projektu profilaktycznego jedna osoba korzystając z filantropijnego zaangażowania drukarni i rzeszy wolontariuszy, rozprowadziła na terenie kilku dużych miast 500.000 egzemplarzy ulotek edukacyjno-profilaktycznych, a pozostali koordynatorzy w tym samym czasie rozdali po 20.000 egzemplarzy. Wówczas średnia arytmetyczna dla wszystkich to 116.000. Zamiast średniej arytmetycznej można posługiwać się medianą. Czasem warto zrezygnować z liczenia średniej dla wszystkich przypadków i wyeliminować skrajne.

Wówczas gdy korzysta się z materiałów jakościowych (np. transkrypcji z wywiadów), to w raporcie należy zaprezentować te ich fragmenty, które ilustrują czynione uwagi, uogólnienia i wnioski. Czym kierować się przy wyborze? Należy wskazywać materiały (np. cytaty z wywiadów) najbardziej charakterystyczne dla omawianej problematyki.

Ze środka i z zewnątrz

Kolejny podział odnosi się do statusu osób, które dokonują ewaluacji – czy są one zaangażowane w tworzenie i/lub wdrażanie projektu, czy nie? Jeśli tak, to mamy do czynienia z ewaluacją wewnętrzną, w przeciwnym razie – zewnętrzną. Jaka ewaluacja jest właściwsza? Wówczas, gdy jeden zespół tworzy, wdraża i ewaluuje program mogą wystąpić zakłócenia związane z lękiem przed oceną (o czym – także w innym kontekście – za chwilę). Trudność sprawiać może również przyjęcie w ewaluacji innej perspektywy – patrzenia z dystansu (czemu do pewnego stopnia można przeciwdziałać tworząc zespoły interdyscyplinarne). Wyłączenie doświadczeń i sposobu postrzegania programu przez ewaluatorów wewnętrznych wydaje się jednak nieuzasadnione. Dysponują oni unikatowym, trudnym do odtworzenia osobom z zewnątrz zasobem informacji o projekcie, adresatach, realizatorach, itp. Można zatem powoływać zespół, w skład którego weszłyby osoby związane z programem oraz z zewnątrz. Inny sposób to powołanie dwóch zespołów – ewaluatorów wewnętrznych i zewnętrznych, wzajem weryfikujących swoją pracę.

Wydaje się jednak, że bezpośrednią realizacją badań wśród respondentów powinni zajmować się ewaluatorzy zewnętrzni³¹⁾, gwarantujący uczestnikom procedur ewaluacyjnych, że będą one miały poufny, anonimowy charakter z jednej strony, zaś z drugiej zapewniający badanych, że nie ma „poprawnych” lub „niepoprawnych” odpowiedzi, bądź „oczekiwanych” albo „nieoczekiwanych”. Inaczej mówiąc, do zadań badacza należy takie zaaranżowanie procedur ewaluacyjnych, aby ułatwić respondentom wypowiadanie się o projekcie i wiążącej się z nim problematyce w nieskrępowany sposób. W przypadku ewaluatorów wewnętrznych sprostanie tym wymogom jest najczęściej znacznie trudniejsze (np. podczas wywiadu indywidualnego lub grupowego, który przeprowadza realizator ewaluowanych zajęć). W sytuacji dokonywania wewnętrznej ewaluacji mogą zachodzić zakłócenia podobne do tych, które już przed laty udokumentowano w badaniach poświęconych lękowi przed oceną i tzw. efektowi oczekiwań eksperymentatora. Istnieje obawa, że respondenci w pewnym stopniu mogą nie ujawniać szczerych opinii, lecz np. takie, jakie uznają za oczekiwane przez ewaluatora. Chodzi tu o sytuacje, kiedy badany (…) będzie (…) percepcyjnie uwrażliwiony na wszystkie oczekiwania dotyczące jego funkcjonowania, oczekiwania, które w subtelny sposób mogą być przesłane przez eksperymentatora (a w przyjętym w tej pracy kontekście – ewaluatora – przyp. MJS). Podobnie będzie on skłonny do działania zgodnie z tymi spostrzeżeniami, tj. będzie zmieniał swoje odpowiedzi i zachowania w kierunku sygnalizowanych oczekiwań³²⁾. Dodam, że chodzi tu o sugestie nieintencjonalne, także reakcje na nie mogą być do pewnego stopnia mimowolne. Zdystansowany ewaluator zewnętrzny, któremu zarazem zależy na zobiektywizowanej (względnie – zależnie od pozycji teoretycznej i celu ewaluacji – obiektywnej, reprezentatywnej³³⁾, wielowymiarowej, uwspólnionej) ocenie programu, nawet jeśli będzie nieintencjonalnie sygnalizować swoje oczekiwania, to będą to sygnały – jeśli można tak to ująć – metodologicznie bardziej poprawne (może się oczywiście zdarzyć, że zewnętrzny ewaluator zaangażuje się w ten sposób, że będzie chciał uzyskać pozytywny wizerunek projektu; jednak wydaje to się mniej prawdopodobne niż w przypadku ewaluacji wewnętrznej). Reasumując ten fragment rozważań: włączanie ewaluatorów wewnętrznych w bezpośrednie przeprowadzanie badań, prowadzi do tego, że uzyskane w ten sposób wyniki mogą być mniej wiarygodne i należy wskazać uzasadnienie, dlaczego wybrano taką procedurę badawczą – czy ze względu na ograniczone możliwości (np. zbyt mały budżet), czy też uznano ją pod pewnymi względami za właściwszą?

Idąc tym ostatnim tropem – czy mogą zachodzić sytuacje, w których sformułowany wyżej postulat traci na znaczeniu? Może się bowiem zdarzyć, że np. ewaluatorzy wewnętrzni będąc zarazem twórcami-realizatorami programu, na etapie jego opracowywania będą chcieli mieć bezpośredni wpływ na wdrażanie procedur ewaluacyjnych (np. moderując wywiady grupowe), tak aby uzyskać pogłębiony wgląd w zagadnienia będące przedmiotem analizy albo weryfikować na bieżąco pojawiające się hipotezy, rozwiązania problemów, pomysły dotyczące strony wdrożeniowej bądź merytorycznej projektu (dokonując – mówiąc nieco inaczej – autoewaluacji). Taka sytuacja ma jednak szczególny charakter gdyż jest przykładem pewnej niestabilności postulatów metodologicznych i wymaga podjęcia świadomego wyboru: przedkładania pewnych celów nad inne.

Wspomniana sytuacja prowadzi do kolejnego pytania: czy etap, na którym znajduje się projekt, a także typ ewaluacji mają znaczenie przy wyborze pomiędzy ewaluacją zewnętrzną a wewnętrzną? W mojej ocenie można udzielić odpowiedzi twierdzącej, ze wskazaniem na nadrzędną pozycję ogólnego postulatu: „ze względu na wiarygodność uzyskiwanych informacji, wskazane jest, aby bezpośrednią realizacją badań wśród respondentów zajmowali się ewaluatorzy zewnętrzni”. Nadrzędna pozycja, w tym przypadku, oznacza, że jeśli nie zastosowano się do zaprezentowanej normy trzeba to uzasadnić, zaś wówczas, gdy została ona zachowana – nie ma takiej obligacji. Wydaje się, że wspomniany postulat jest najmniej bezwyjątkowy wówczas, gdy dokonujemy podsumowującej oceny (już ukończonego) projektu lub formułujemy (wspomniane wcześniej) standardy realizacyjne. Ma natomiast mniejsze znaczenie w trakcie opracowywania programu (testowania przez autorów kolejnych rozwiązań, narzędzi oddziaływania). W przypadku ewaluacji ogniskującej się na procesie wdrażania (rutynowych) realizacji projektu, rozpatrywana norma ma jedynie o tyle mniejsze znaczenie, o ile rzadziej zachodzi wówczas potrzeba włączania w procedury ewaluacyjne bezpośredniej relacji badacz – badany. Pragnę jednak zaznaczyć, że zaprezentowane rozstrzygnięcie metodologiczne odnosi się głównie do programów ustrukturyzowanych w sposób względnie trwały (poszczególne sekwencje działań są stałe, następują po sobie w określonej kolejności i mogą podlegać jedynie nieznacznym modyfikacjom w trakcie replikacji). W przypadku programów o bardziej otwartej formule relacje między ewaluacją zewnętrzną a wewnętrzną mogą mieć bardziej zróżnicowanych charakter.

Wspomnę, że można celowo dobierać bezpośrednich realizatorów badań ze względu na jakieś cechy. Przykładowo, ewaluując projekt z zakresu przeciwdziałania przemocy domowej wśród kobiet, celowo można wybrać kobiety na osoby przeprowadzające wywiady (wychodząc z założenia, że respondentkom łatwiej będzie mówić, np. o aktach przemocy seksualnej, jeśli wypowiedzi słuchać będzie kobieta). Jednak, jeśli nie zachodzą tego rodzaju okoliczności, to warto zróżnicować grono osób bezpośrednio realizujących badania, aby zniwelować wpływ cech osobowych badaczy na badanych (zakładając, że dzięki takiemu zabiegowi ten zakłócający wpływ może ulec „rozproszeniu”, nie wpływając w istotny sposób na uzyskiwane wyniki).

I jeszcze jedna uwaga, pisząc o ewaluacji demokratycznej stwierdziłem, że ewaluację można rozumieć jako formę wsparcia – podtrzymania lub poprawy jakości projektu. Stwierdzenie to ma przełożenie na teraz analizowane zagadnienia, gdyż implikuje podzielanie przez ewaluatorów zewnętrznych, w wystarczającym zakresie, zaplecza aksjonarmatywnego, do którego odwołuje się program, zarówno w wymiarze ogólnym jak i przyjętych (lub jeszcze testowanych) rozwiązań wdrożeniowych (technik oddziaływania). Innym słowy, ewaluatorzy zewnętrzni (podobnie jak twórcy projektu, realizatorzy, itp.) powinni dokonać – przywoływanej już wcześniej – ewaluacji etycznej, aby odpowiedzieć na pytanie „czy program jest (w wystarczającym stopniu) zgodny z moimi wartościami?”.

Triangulacja

Na koniec omówię jeszcze jedno ważne pojęcie – „triangulacja”. Odnosi się ono do ewaluacji procesu, formatywnej oraz wyników/konkluzywnej i implicite zostało wpisane w uprzednie opisy. Generalnie, triangulacja oznacza dokonywanie analiz z różnych perspektyw.

Triangulacja. Zabieg metodologiczny polegający na „oświetlaniu” przedmiotu badań z możliwie różnych stron i uwzględnianiu odmiennych punktów widzenia w celu ich wzajemnej weryfikacji, dopełnienia, relatywizacji, ale i dookreślenia. Metoda często stosowana w studium przypadku³⁴⁾.

Norman K. Denzin wyróżnił cztery jej typy: danych, badacza, teoretyczną i metodologiczną³⁵⁾. Trzecia z wymienionych jest sprzeczna z paradygmatem neopozytywistycznym, zaś ostatnia może być dokonywana tylko w ograniczonym zakresie (por. np. uwagi powyżej na temat metodologii oceny skuteczności programu).

Informacje o projekcie możemy czerpać z różnych źródeł. Możemy je gromadzić za pośrednictwem dokumentacji wdrażania projektu sporządzanej przez realizatorów, pozyskiwać informacje od bezpośrednich adresatów lub pośrednich (np. w przypadku programów adresowanych do nauczycieli mających doskonalić kompetencje wychowawcze, w proces ewaluacji można włączyć uczniów). Cennych danych mogą także udzielić np. osoby niezaangażowane w projekt i nie będące jego adresatami, które posiadają informacje o beneficjentach programu (np. w przypadku projektów realizowanych w świetlicach socjoterapeutycznych i kierowanych do dzieci, takich ważnych informacji mogą dostarczyć nauczyciele ze szkół).

Ewaluacja może być realizowana przez zróżnicowany zespół ewaluatorów, którzy materiał będą analizowali lub pozyskiwali włączając w to indywidualne perspektywy, doświadczenie. Szczególnym przypadkiem takiej triangulacji może być celowe zróżnicowanie zakresu wiedzy badaczy na temat ewaluowanego programu³⁶⁾. Niepełny zakres informacji lub zgoła ich brak sprawia, że badacze nie mogą od razu podążać utartymi ścieżkami, a to może doprowadzić do wytworzenia nowej perspektywy oceny (funkcjonowania) projektu. Daje też możliwość konfrontowania powstającego „oddolnie” obrazu (odnoszącego się do celów, sposobów oddziaływania, efektów, itp.) z tym jaki pierwotnie planowany był przez twórców i realizatorów.

Ten sam zestaw danych lub różne informacje, ale odnoszące się do tego samego (podobnego) obszaru problemowego, można interpretować przyjmując różne perspektywy teoretyczne (spójne lub niespójne z ewaluowanym programem). Może się np. okazać, że dokonując oceny w ramach jednego podejścia dostrzegamy (różnie oceniane) efekty, które są niedostrzegalne (lub nieistotne) przyjmując inne stanowisko teoretyczne.

Możemy wreszcie w ramach jednego projektu ewaluacyjnego stosować zróżnicowane techniki i metody badawcze – łącząc metodologię jakościową i ilościową. Podejście to pozwala na wzajemne uzupełnianie poszczególnych podejść, ale i na ich częściową weryfikację.

Triangulacja wpisuje się w demokratyczny charakter ewaluacji. Jej przedmiotem może być także raport – wnioski i rekomendacje poczynione w trakcie realizacji procedur ewaluacyjnych. Może zatem być narzędziem wykorzystywanym w stymulowaniu mechanizmów decyzyjnych, uspołeczniania procesu ewaluacji. Triangulacja jest jednym ze sposobów umożliwiania wypowiedzi na temat projektu i spraw, których on dotyczy, różnym środowiskom w zróżnicowany sposób. Pozwala na konfrontowanie i łączenie dyskursów, dla których ewaluowany program stanowi punkt odniesienia, może też przyczyniać się do generowania nowych narracji.

W artykule poprawiono drobne błędy, które powstały na etapie składania rozdziału „Przewodnika” do druku; w niniejszym tekście zrezygnowano z podawania większości odwołań do bibliografii — przyp. red. „Remedium”.

Autor jest socjologiem, zajmuje się m.in. realizacją badań ewaluacyjnych, diagnostycznych i in.