Standardy i kryteria oceny jakości programów promocji zdrowia i profilaktyki w ramach systemu rekomendacji

Anna Radomska, Krajowe Biuro ds. Przeciwdziałania Narkomanii

System rekomendacji programów profilaktyki antynarkotykowej

Podnoszenie jakości strategii i programów przeciwdziałania narkomanii jest jednym z priorytetów polityki narkotykowej Unii Europejskiej, postulat ten jest również obecny w polskiej strategii. Krajowy Program Przeciwdziałania Narkomanii na lata 2006—2010 wyznacza działania służące podniesieniu jakości programów profilaktycznych oraz wojewódzkich i gminnych programów przeciwdziałania narkomanii. Działania te obejmują upowszechnienie standardów programów profilaktyki, wiedzy na temat ewaluacji, popularyzację programów spełniających kryteria dobrej jakości.

Kluczowym działaniem jest opracowanie i wdrożenie systemu rekomendacji programów profilaktycznych w oparciu o kryteria programu EDDRA.

Opracowanie systemu rekomendacji zostało powierzone Zespołowi roboczemu powołanemu w 2007 roku zarządzeniem Dyrektora Krajowego Biura ds. Przeciwdziałania Narkomanii. W skład zespołu wchodzą przedstawiciele Krajowego Biura, Instytutu Psychiatrii i Neurologii, Centrum Pomocy Psychologiczno-Pedagogicznej, Ministerstwa Edukacji Narodowej oraz Państwowej Agencji Rozwiązywania Problemów Alkoholowych.

Zespół opracował zestaw standardów służących ocenie jakości programu profilaktyki lub promocji zdrowia. Projekt przedstawia pożądany sposób formułowania i opisu programu, a także przedstawia kryteria (wskaźniki) dla poszczególnych standardów. Program, w zależności od stopnia jego zgodności ze standardami, mógłby zostać zakwalifikowany na jeden z trzech wymienionych poniżej poziomów jakości.

„Programy obiecujące” — programy, których pozytywny wpływ na zachowania i/lub doświadczane przez odbiorców programu problemy nie został potwierdzony w poprawnych metodologicznie badaniach. Jednak sensowna koncepcja teoretyczna programu i dotychczasowe doświadczenia w realizacji działań, udokumentowane wynikami ewaluacji procesu pozwalają przypuszczać, że programy te mogą przynosić oczekiwane efekty.

„Dobra praktyka” — programy, których ewaluacja wyników dotyczyła zmian w zakresie czynników pośredniczących (celów szczegółowych programu), a nie samych zmian zachowania (celu głównego programu) lub była przeprowadzona bezpośrednio po zakończeniu oddziaływań, albo też nie spełniała innych standardów metodologicznych.

„Programy modelowe” — wyniki poprawnych metodologicznie badań (z losowym doborem osób badanych, obejmujących próbę wystarczająco dużą dla udowodnienia oczekiwanych efektów, prowadzonych przez zewnętrznych w stosunku do programu ekspertów itp.) potwierdzają pozytywny wpływ programu na zachowania problemowe i to przynajmniej po roku od zakończenia oddziaływań (tzw. odroczone efekty).

Przedstawiony poniżej projekt standardów i kryteriów oceny jakości programów profilaktyki był prezentowany podczas krajowych konferencji oraz konsultowany przez przedstawicieli różnych środowisk.

Dalsze prace zespołu będą skoncentrowane na opracowaniu szczegółowych zasad kwalifikowania programu na poszczególne poziomy rekomendacji (w tym pilotażu systemu oceny), opracowaniu zasad i procedur wdrażania systemu oraz upowszechnieniu standardów.

Ewentualne uwagi lub komentarze do prezentowanego projektu prosimy zgłaszać do Krajowego Biura ds. Przeciwdziałania Narkomanii.


1. Ogólne dane o programie

Nazwa własna

Autorzy programu

Organizacja/instytucja odpowiedzialna za program

Organizacja/instytucja ubiegająca się o rekomendację programu

Organizacje/instytucje do tej pory realizujące program

Rodzaj programu:

  • promocja zdrowia;
  • profilaktyka uniwersalna;
  • profilaktyka selektywna;
  • profilaktyka wskazująca.

2. Okres od wdrożenia programu

Standard

Program powinien przedstawiać doświadczenia związane z przynajmniej rocznym przebiegiem realizacji. Programy dopiero zaplanowane lub wdrożone w okresie krótszym niż jeden rok nie mogą ubiegać się o rekomendację.

Kryteria oceny:

  • program realizowany dłużej niż rok.

3. Opis problemu/zjawiska

Standard

Przedstawiony opis definiuje naturę i rozmiar zjawiska, którego dotyczy program, identyfikuje grupę docelową programu, czynniki ryzyka oraz czynniki chroniące. W przypadku programów o zasięgu lokalnym, odpowiadającym specyficznym potrzebom danej społeczności, niezbędne jest również przedstawienie diagnozy sytuacji lokalnej.

Diagnoza powinna przedstawiać dane umożliwiające sformułowanie problemu. Dane powinny być aktualne, tzn. obejmować możliwie najnowsze dostępne badania, adekwatne do zasięgu programu (np. dla programu lokalnego — dane z poziomu lokalnego, a nie ogólnopolskiego) oraz dotyczyć populacji, do której program jest skierowany. Diagnoza powinna wskazywać źródła przytaczanych danych.

Na podstawie diagnozy powinien być sformułowany problem. Pomiędzy zidentyfikowanymi potrzebami a zdefiniowanym problemem powinien istnieć jasny związek.

Kryteria oceny:

  • właściwy dobór danych (adekwatny do zasięgu, dane aktualne, specyficzne dla populacji);
  • problem jasno sformułowany;
  • problem wynika z przedstawionych danych;
  • grupa docelowa określona;
  • czynniki ryzyka/czynniki chroniące określone.

4. Cele programu: ogólny/szczegółowe

Standard

Cel ogólny programu powinien być odpowiedni (adekwatny) do zidentyfikowanego problemu, tzn. dotyczyć modyfikacji lub zmiany sytuacji niepożądanej na pożądaną albo utrzymania, poprawy sytuacji aktualnej ocenianej jako pozytywna.

Cel szczegółowy (cel pośredniczący) dotyczy modyfikacji lub zmiany wybranych aspektów problemu lub zjawisk/stanów, co przyczynia się do osiągnięcia celu głównego.

Cele powinny:

  • odnosić się do grupy docelowej programu;
  • być sformułowane w formie mierzalnych rezultatów;
  • być sformułowane w formie oczekiwanej zmiany;
  • być realistyczne, możliwe do osiągnięcia;
  • być określone w czasie.

Kryteria oceny:

  • sformułowany cel ogólny;
  • sformułowane cele szczegółowe;
  • cele są specyficzne;
  • cele są mierzalne;
  • cele są adekwatne;
  • cele są realistyczne;
  • cele są terminowe (określone w czasie).

5. Założenia programu

Standard

Przedstawiono wyjaśnienie mechanizmu osiągnięcia celu programu, uzasadnienie wyboru konkretnego sposobu rozwiązania problemu. Program jest opar ty na modelach teoretycznych/teoriach, których skuteczność w odniesieniu do rozwiązywania problemu została potwierdzona w literaturze naukowej lub sprawdzona w praktyce.

Kryteria oceny:

  • hipoteza oparta na wcześniejszych doświadczeniach autora;
  • hipoteza potwierdzona wynikami ewaluacji innych, podobnych programów;
  • hipoteza opar ta na sprawdzonym modelu (modelach) teoretycznym.

6. Odbiorcy programu (grupa docelowa)

Standard

Grupa docelowa i bezpośredni odbiorcy programu zostali wybrani na podstawie dokonanej oceny sytuacji początkowej i prawidłowego sformułowania problemu. Program określa kryteria kwalifikacyjne grupy docelowej/odbiorców programu, a także kryteria wykluczające udział w programie. W przypadku programów kierowanych do wybranych grup populacji ogólnej lub przeznaczonych do realizacji w określonym środowisku lokalnym (np. jedna gmina), opisana jest wielkość grupy docelowej.

Kryteria oceny:

  • grupa docelowa określona;
  • określone kryteria kwalifikacji;
  • określone kryteria wykluczenia;
  • określona wielkość grupy docelowej.

7. Efekty

Standard

Efekty programu są opisane w kategor iach specyf icznych zmian (wzrostu, spadku, modyfikacji, wprowadzenia nowych jakości). Efekty dotyczące celu głównego powinny dotyczyć zmian zachowania. Efekty odnoszące się do celów szczegółowych programu mogą dotyczyć również zmian postaw, wiedzy, umiejętności, statusu, sposobu funkcjonowania oczekiwanych w rezultacie przeprowadzenia działań projektu. Efekty są mierzalne, specyficzne, znaczące, realistyczne, określone w czasie.

Kryteria oceny:

  • efekty dotyczą zachowania;
  • efekty dotyczą postaw, wiedzy, umiejętności, statusu, poziomu funkcjonowania;
  • efekty sformułowane w kategoriach zmiany.

8. Wskaźniki

Standard

Określony jest rodzaj danych mierzących sukces/ postęp w programie. Wskaźniki powinny odnosić się i być adekwatne do celów: głównego i szczegółowych oraz planowanych efektów programu. Mogą dotyczyć realizacji poszczególnych działań programu. Wskaźniki powinny być mierzalne przy użyciu metod i narzędzi ilościowych lub opisane jakościowo.

Kryteria oceny:

  • wskaźniki dotyczą celów;
  • wskaźniki dotyczą działań;
  • wskaźniki mierzalne;
  • wskaźniki adekwatne do celu i planowanych efektów.

9. Aktywności/działania

Standard

Zaplanowane w programie aktywności i działania są szczegółowo opisane; ich rodzaj, długość i intensywność są określone i uzasadnione specyfiką grupy docelowej oraz osiągnięciem celu głównego i celów szczegółowych.

Kryteria oceny:

  • działania są szczegółowo opisane w mierzalnych terminach;
  • rodzaj, intensywność, długość działań są dostosowane do specyfiki grupy docelowej;
  • rodzaj, intensywność, długość działań są odpowiednie do celu/efektu.

10. Nakłady

Standard

W programie uwzględnione i opisane są nakłady odpowiednie (pod względem ilościowym i jakościowym) do rozmiaru i rodzaju zaplanowanych aktywności oraz specyfiki programu (grupy docelowej).

Nakłady obejmują kadrę realizatorów, koordynatora, materiały pomocnicze dla uczestników, podręczniki dla realizatorów.

Kryteria oceny:

  • nakłady rzeczowe (materiały) są odpowiednie do rodzaju programu;
  • nakłady osobowe (kadra) są odpowiednie do rodzaju programu.

11. Sposób implementacji

Standard

Rekomendowany sposób wdrożenia projektu powinien uwzględniać:

  • zapewnienie nadzoru nad jakością poprzez np. koordynację, cykliczne spotkania realizatorów, odpowiednie materiały;
  • prowadzenie monitoringu;
  • wprowadzanie zmian w programie w efekcie ewaluacji procesu;
  • system szkolenia realizatorów;
  • współpracę z lokalną społecznością i/lub organizacjami.

Kryteria oceny:

  • zapewniony nadzór nad jakością;
  • wszystkie aspekty i aktywności programu mają zapewnione odpowiednie nakłady;
  • prowadzony monitoring;
  • uwzględnianie wyników ewaluacji procesu;
  • zaplanowany system szkolenia;
  • wdrożony system szkolenia.

12. Ewaluacja procesu

Standard

Ewaluacja procesu jest standardem minimalnym.

Może dotyczyć:

  • jakości implementacji;
  • satysfakcji uczestników.

Jest oparta na analizie wskaźników realizacji działań.

Opisane są: harmonogram zbierania danych, osoby badane, metody, narzędzia i wyniki ewaluacji.

Kryteria oceny:

  • plan ewaluacji z opisem metodologii;
  • ewaluacja przeprowadzona;
  • wyniki ewaluacji procesu.

13. Ewaluacja wyniku

Standard

Poprawna metodologicznie ewaluacja wyników została przeprowadzona.

Mogła być również przeprowadzona ewaluacja wyników nie spełniająca kryteriów RCT.

Opis metodologii badawczej powinien zawierać informacje na temat:

  • schematu badawczego, w tym sposób doboru grupy (eksperymentalnej i porównawczej), wielkość próby;
  • badanej populacji — wiek, płeć, charakterystyka pod względem innych cech istotnych z perspektywy analizowanych zmiennych;
  • narzędzi i procedur zbierania i analizy danych. Źródła danych oraz narzędzia zbierania danych dotyczących wskaźników powinny być jasno określone i opisane. Preferowane są standardowe narzędzia. Narzędzia „autorskie” powinny być skonstruowane w sposób poprawny pod względem metodologicznym.

Kryteria oceny:

  • ewaluacja — plan;
  • ewaluacja — przeprowadzona;
  • ewaluacja wewnętrzna;
  • ewaluacja zewnętrzna;
  • opis zastosowanego schematu badawczego;
  • opis badanej populacji;
  • opis narzędzi i procedury zbierania danych;
  • opis metody analizy danych;
  • wyniki ewaluacji.

14. Źródła informacji na temat programu

Standard

Dodatkowe informacje na temat programu zostały upowszechnione/są dostępne.

Źródła informacji mogą obejmować m.in.: publikacje w pismach naukowych i o charakterze edukacyjnym, prasie branżowej, publikacje za pośrednictwem Internetu.

Kryteria oceny:

  • publikacje popularne;
  • publikacje naukowe;
  • publikacje w Internecie.

15. Możliwość upowszechnienia programu

Standard

Program został poddany ewaluacji procesu oraz wyniku. Rezultaty badań zostały opublikowane. Osiągnięty został przynajmniej jeden pozytywny rezultat odnośnie rozwiązania/modyfikacji problemu.

Dokumentacja programu (narzędzia, materiały, raporty) jest opracowana i udostępniona w formie publikacji.

Program ma opracowany plan szerokiej implementacji, obejmujący m.in. nadzór nad jakością. Szczegółowe wytyczne odnośnie kwalifikacji kadry są sformułowane. Przygotowany jest system szkolenia realizatorów lub jego założenia (jeśli wdrożenie programu wymaga szczególnego przygotowania). Program posiada materiały niezbędne do realizacji programu, tj. podręczniki. Program może być kontynuowany po zaprzestaniu wsparcia np. centralnego (stabilność).

Kryteria oceny:

  • dokumentacja programu w formie publikacji;
  • przeprowadzona ewaluacja procesu (raport);
  • przeprowadzona ewaluacja wyniku (raport);
  • pozytywne rezultaty;
  • opracowany plan implementacji;
  • wytyczne dotyczące kadry;
  • system szkolenia kadry;
  • stabilność programu.

Standardy — materiały z Internetu

Prace nad standaryzacją programów profilaktycznych w obszarze uzależnień są prowadzone przez różne instytucje i gremia.

Warto polecić Standardy jakości pierwszorzędowych programów profilaktycznych realizowanych w szkołach i placówkach oświatowych autorstwa K. Wojcieszka i J. Szymańskiej, prezentowane na stronie Centrum Metodycznego Pomocy Psychologiczno-Pedagogicznej. Zawierają one opis najważniejszych wymagań, jakie współczesna nauka stawia twórcom, realizatorom i organizatorom szkolnych programów profilaktycznych.

Spójrzmy też na uregulowania bardziej specyficzne, dotyczące standardów postępowania terapeuty uzależnień. W naszym serwisie prezentujemy Kodeks etyczny terapeuty uzależnień, przyjęty i zatwierdzony przez Krajowe Biuro ds. Przeciwdziałania Narkomanii.

Redakcja

Publikacja pierwotna: kwartalnik „Serwis Informacyjny NARKOMANIA” nr 2/2008 (41).