Praktisk erfaring viser, at der er mange udfordringer og mange faldgruber, når man skal designe, gennemføre, rapportere og anvende evalueringer.

Nogle af dem, som jeg selv har oplevet er: (NB: understregede ord med blå tekst er links til andre sider - nogle gange på andre wikier)

1. Uklart formål med evalueringen - mange hensyn skal tilgodeses med samme evaluering (fx læring og kontrol)
2. Mange interessenter med hver deres interesser i evalueringen - også evaluator - fx ønske om anerkendelse/legitimitet
3. Summativ og formativ evaluering er ikke entydige/objektive størrelser. det afhænger af perspektivet. 
4. Ofte er der mindst en interessent, som ønsker at få tilført flere ressourcer - og gerne ser at evalueringen dokumenterer det 
5. Evalueringskriterier udarbejdes ofte uden at inddrage de berørte interessenter
6. Mange relevante data og kilder, men ofte også mange praktiske problemer med at få adgang til data.
7. Registerdata viser sig ofte at være forbundet med mange datakvalitetsproblemer, fx på grund af fejlregistreringer
8. Stor dokumentationsopgave for de involverede praktikere
9. Ofte efterspørges effektevaluering, uden at der kan/bør vælges et eksperimentelt design
10. RCT-studier får problemer med rekruttering til interventionsgruppen/kontrolgruppen på grund af skrappe inklusions-/eksklusionskriterier. Creaming kan skade den eksterne validitet.
11. Virkningsevalueringer og indsatsteorier/programteorier er lettere i teori end i praksis.
12. Komplekse indsatser, der ikke lader sig reducere til en enkel indsatsteori med få mål, kriterier, indikatorer/variable
13. Ofte lover evaluator opdragsgiveren mere end der er metodisk belæg - og praktisk mulighed - for. 
14. Der er brug for at indgå mange kompromis'er - at være pragmatisk 
15. Ofte udarbejdes en evalueringsrapport, som har et omfang der, at de færreste - om nogen - får den læst. 
16. Der bruges ofte mere tid på at gennemføre evalueringen end det var budgetteret. 
17. Opdragsgiveren viser sig at have en skjult dagsorden, som ikke er meldt ud til de andre interessenter 
18. Ofte er der en overordnet opdragsgiver (slutbruger af evalueringen), som ikke direkte samarbejder med evaluator, men overlader dette til en medarbejder/embedsmand/fuldmægtig. Michael Quinn Pattons anerkendte evalueringkoncept Utility-focused Evaluation er et ideal, som ofte ikke kan praktiseres.
19. Site visits - evaluering der sker ved at besøge 'evaluanden', observere, interviewe, gennemgå dokumenter mm kan give et skævt billede, blandt på grund af ansattes loyalitet og/eller bekymring for sanktioner / negative konsekvenser af at oplyse om kritiske forhold.
20. Spørgeskemaer er ofte ikke testet tilstrækkeligt. Det gør nogle svar/resultater svære at fortolke.
21. Standardiserede spørgeskemaer løser ikke dette problem, fordi de ikke er tilpasset konteksten
22. Interviewpersoner er ofte udvalgt af nogle, som har en interesse i et bestemt resultat af evalueringen 
23. Nogle evaluatorer (og opdragsgivere) har nogle foretrukne dataindsamlingsmetoder og evalueringsmodeller, som metodisk set ikke altid er de oplagte valg i den konkrete evaluering, men som alligevel vælges. (metaforisk: Hvis man har en god hammer, man er glad for at bruge, så kan alting risikere at blive opfattet som søm) 

Heldigvis optræder alle disse faldgruber sjældent i en enkelt evaluering. Men hver af dem kan være til at gøre evalueringen mindre anvendelig eller ligefrem ubrugelig.

Se også

• evaluering (side på denne wiki)
• evalueringskriterier for evalueringer (link til særlig wiki om evaluering)
• Evaluering af evalueringer (link til særlig wiki om evaluering)

De 23 punkter på bygger på en refleksion over og eftertanker på baggrund af følgende personlige erfaringer:

Planlægning, gennemførelse, deltagelse i, rapportering og anvendelse af evalueringer i den offentlige sektor siden 1991 - i samarbejde med mange forskellige opdragsgivere, kolleger og fagpersoner.

Bl.a. evaluering (OG/ELLER deltagelse i, anvendelse og/eller været opdragsgiver for evalueringer) af

1. afdelingssygeplejerskers vilkår for ledelse (fokusgrupper)
2. Aktivitetshuset i Vejle 
3. arbejdsklimaet på arbejdspladser i Århus Amt (spørgeskemabaserede dialogmøder)
4. arbejdsmiljøet på en arbejdsplads (som arbejdsmiljørepræsentant ved hjælp af APV-skemaer, opfølgende samtaler, tilsynsbesøg, møder mm) 
5. astmaskole for børn (opdragsgiver på vegne af Fyns Amt) 
6. Cafe Parasollen i Vejle (interviewundersøgelse)
7. diabetesprojekt i almen praksis (selvevalueringer, statistiske analyser mm)
8. ergo- og fysioterapiens organisering på et sygehus (fokusgrupper) 
9. forandringstiltag (PDSA-skabeloner, observationer, interviews mm) 
10. forbedringsprojekter (selvevalueringer, kvantitative data/seriediagrammer og dokumentanalyser, fx driver diagrammer og udfyldte pdsa-skabeloner)
11. forstærket indsats for mennesker med kroniske sygdom i Region Midtjylland (programevaluering - med 32 projekter, herunder RCT-studier)
12. frivilligt socialt arbejde i Røde Kors (intern evaluering i form af mundtlig dialog)
13. Gennembrudsprojekter på sundhedsområdet
14. Idrætshaller og idrætsanlæg i Vejle kommune 
15. jobansøgeres kompetencer i forbindelse med ansættelsesprocesser/rekruttering 
16. kantines evne til at levere det, som kunderne ønsker (eller tror de ønsker)
17. klinisk kvalitet - baseret på indberetning til kliniske kvalitetsdatabaser og efterfølgende audit. 
18. kollegieindstillingsudvalgs arbejde (interessentevaluering forankret i udvalget selv) 
19. kommunikationen med patienter på en hudklinik (observationer, interviews mm)
20. kompetenceudviklingsprojekter (fokusgrupper, spørgeskemaundersøgelser, dokumentanalyser mm)
21. konsulentopgaver (typisk i form af et opfølgende møde eller en telefonsamtale med rekvirenten) 
22. kurser (mundtlig evaluering og/eller spørgeskemaer) 
23. kvalitet(sstyringssystemer) på hospitaler (surveymetoder: observation, interview, journalaudit, tracer mm ift Den Danske Kvalitetsmodel, inden akkreditering)
24. læringsseminarer (store arrangementer med deltagere fra mange forskellige arbejdspladser) - spørgeskemaer
25. MRSA-indsatsen i Region Midtjylland (interviews, dokumentanalyser mm)
26. nationale projekter med det formål at nedbringe tvang i psykiatrien (dokumentanalyser af selvevaluering, spørgeskemaer mm)
27. patientsikkerhed - evalueret på baggrund af rapportering og analyse af utilsigtede hændelser, journalaudit og patientsikkerhedsaudit. 
28. personaleseminarer og temadage for adskillige offentlige arbejdspladser (spørgeskemaer og mundtligt)
29. satspuljeprojektet forsøg med bæltefri afdelinger i psykiatrien (midtvejsevaluering baseret på casestudier, registerdata, interviews, spørgeskemaer, selvevalueringer mm) 
30. studerendes kompetencer - til mundtlige og skriftlige eksamener (dokumentanalyse, deltagerobservation, interview-spørgsmål ud fra læringsmål)
31. sundhedsforsøg, herunder etableringen af et sundhedscenter (opdragsgiver på vegne af Fyns Amt)
32. supervision (mundtlig dialog) 
33. teaters organisering og kapacitet til økonomistyring (organisationsanalyse - baseret på interviews og dokumenter)
34. tværsektorielle indsatser til gavn for den ældre medicinske patient i vestjyske og østjyske kommuner/klynger (audit, selvevalueringer, spørgeskemaundersøgelse mm)
35. tværsektorielt samarbejde mellem sygehus, læge og kommune (opdragsgiver på vegne af Fyns Amt) 
36. undervisning på kommunomuddannelsen, socialrådgiveruddannelsen, diplomuddannelse, specialuddannelse og universitetsuddannelse (spørgeskemaer, skriveøvelser, mails, mundtlig feedback mm)
37. Økonomi- og gældsrådgivning  i Trivselshuset , Holstebro 

De ressourcemæssigt største evalueringer er fremhævet med fed.

Det kan naturligvis ikke udelukkes, at de flere tusinde andre deltagere og interessenter i de mange (flere hundrede) evalueringer vil have en anden opfattelse og se andre, færre eller flere faldgruber.

2019-09-17