Evaluering

Få inspiration til at bruge evaluering som et redskab til at nå jeres mål samt skabe læring og langvarig værdi for samfundet.

Nordea-fondens tilgang til evaluering

Evaluering og afrapportering

Evalueringsguiden er inspiration til alle, der arbejder med evaluering.

Fonden stiller ikke krav om, at støttede projekter evalueres, men guiden kan benyttes af projekter, som ønsker at evaluere udover den obligatoriske afrapportering, som er en betingelse for landsdækkende uddelinger. Evaluering skal aldrig igangsættes for fondens skyld, men fordi I gerne vil skabe mere værdi for projektet og for andre.

Evalueringer kan være ressourcekrævende: Overvej derfor altid, hvorfor I ønsker at evaluere, og hvordan I kan prioritere. 

...

Evalueringer kan have utallige formål, formater og størrelser.

Med målet om at inspirere jer, der ønsker at arbejde med evaluering på en mere værdiskabende måde, har vi udviklet en guide med fokus på:

  • Evalueringens anvendelse: Hvem skal bruge evalueringen og til hvad?
  • At indarbejde evaluering i selve projektudviklingen og undervejs i projektet, så evalueringen kan være med til at styrke projekternes mål.
  • Kommunikation og videndeling: At arbejde målrettet med, at evalueringer skal føre til læring, der kan bruges af andre; og hvordan man når ud med den opnåede læring. 

Guiden præsenterer dig for tre evalueringsmodeller og syv refleksionsspørgsmål, der kan styrke jer i arbejdet med evaluering.

Her på siden folder vi guiden ud, men den kan også downloades som pdf.

Download guiden her

Evaluering er tæt forbundet med forankring. Find inspiration her.

Evaluering på 1,5 minut

Få evaluering forklaret på 1,5 minut. I videoen fortæller Martin Welzel, chefkonsulent og evalueringsspecialist i Pluss, om tre relevante pointer ift. evaluering: Hvorfor evaluering? Evalueringens målgrupper og formål. Samt formidlingen af evalueringens resultater.

Ved tryk på afspil accepterer du cookies og sporing fra den eksterne video-leverandør.

Hvem henvender guiden sig til?

Evalueringsguiden er til jer, der arbejder med evaluering som en integreret del af et projekt og/eller, som skal samarbejde med en ekstern evaluator.

Guiden henvender sig både til små organisationer, der ikke selv har omfattende erfaring med evaluering, og til større organisationer, som er vant til at evaluere, men gerne vil inspireres til at lave evalueringer, hvor anvendelse og værdiskabelse er i fokus.

Evaluering er en afgørende del af at arbejde struktureret og systematisk med at skabe forbedringer, sikre solide beslutningsgrundlag samt skabe nye indsigter og viden. Enten til jeres egen brug eller for andre.

Sådan bruger I guiden

Evaluering hænger tæt sammen med udvikling, gennemførelse og forankring af jeres projekt, og vi vil derfor råde jer til at arbejde med guiden helt i begyndelsen af projektet – helst allerede som en del af projektbeskrivelsen.

Guiden kan dog også bruges, når I har modtaget støtte fra fonden og skal til at arbejde med evaluering af projektet – eller skal til at hyre en ekstern evaluator. Læs guiden igennem sammen med projektgruppen og brug den til at diskutere og reflektere over evaluering i lige præcis jeres projekt.

...

Tre evalueringsmodeller

Ligesom projekter er alle evalueringer forskellige. Som et fælles udgangspunkt for dialog og overvejelse om evalueringens fokus bruger vi tre overordnede evalueringsmodeller A, B og C. Modellerne kan bruges som inspiration for forskellige ambitionsniveauer, men skal selvfølgelig tilpasses jeres konkrete projekt.

Grundlaget for evaluering er at dokumentere projektets værdiskabelse (model A). Ovenpå dette kan man bygge en dimension, der handler om at skabe en dybere forståelse af, hvordan projektet fungerer (model B). Endelig kan man efterstræbe at skabe et mere solidt engagement hos nogle af projektets interessenter i evalueringen ved at involvere dem direkte i evalueringsarbejdet (model C).
I praksis tager evalueringen dog sjældent en ren form (A, B el. C).

Tre evaluering

Syv refleksionsspørgsmål

Brug disse syv spørgsmål som en tjekliste. Nedenfor udfoldes spørgsmålene yderligere, og I finder hjælp til at svare på spørgsmålene i forhold til jeres projekt.

1. Karakter: Hvad er projektets grundlæggende karakter?

Er projektet et pilotprojekt, et udviklingsprojekt eller et udbredelsesprojekt? Eller er projektet sammensat af forskellige dele som elementer af disse typer?

2. Anvendelse: Hvad skal evalueringen bruges til?

Har du undersøgt, hvem der skal bruge evalueringen, og hvad deres ønsker til evalueringen er, hvilke centrale spørgsmål skal evalueringen af projektet så vidt muligt besvare?

3. Datagrundlag: Hvilke(n) data er nødvendig for at evaluere projektet?

Hvilken information og data er nødvendig for at besvare de centrale evalueringsspørgsmål? (Jf. pkt. 2) Er det muligt at indsamle data om, hvilke forandringer projektet skaber for/hos målgruppen?

4. Metodevalg: Hvilke metoder skal bruges for at indsamle den ønskede data?

Dine databehov bør afgøre dine metodevalg. Skal andre indsamle data, så giv dem en vis metodefrihed. Er der mulighed for at integrere dataindsamlingen i projektets øvrige aktiviteter?

5. Formidling: Hvordan skal evalueringens resultater formidles?

Hvem vil du formidle evalueringens resultater til? Vil du forankre indsigter fra projektet hos bestemte personer eller organisationer, så overvej mulighederne for at engagere dem direkte gennem dialog eller interaktion. Få mere inspiration til formidlingsformater her.

6. Evaluator: Hvem skal gennemføre evalueringen?

Hvilke kompetencer er nødvendige for at kunne gennemføre de forskellige dele af dataindsamlingen? (Jf. pkt. 4) Har du behov for hjælp fra andre til f.eks. evalueringsdesign, sparring, dataindsamling eller andet?

7. Budget: Hvad vil evalueringen koste?

Har du reserveret timer til jeres egne aktiviteter ifm. evalueringen? Har du overvejet, hvilken betydning dine svar på ovenstående spørgsmål kan have for budgettet?


1. Hvad er projektets grundlæggende karakter?

En evaluering skal designes og skræddersys, så den passer til projektet. En god forståelse for projektets natur bør derfor være afsættet for at udarbejde et evalueringsdesign.

Hvis et projekt primært skal udbrede en metode, som tidligere har demonstreret sin værdi, skal evalueringen fokusere på udbredelsen og ikke selve metoden. Metoden kan derimod være genstand for evalueringen af et udviklingsprojekt.

I evalueringssammenhæng er det nyttigt at forholde sig til projektets udviklingsstadie, som man kan inddele i tre arketyper, men som ofte forekommer i forskellige blandingsformer:

Pilot- eller forprojekt

Pilot- eller forprojekt igangsættes for at afprøve en idé, ny metode eller projektmodel i mindre skala og med få deltagere. Design- eller implementeringsfejl kan på den måde opdages, før projektmodellen udrulles i større skala. Der vil sjældent kun være kvantitative succeskriterier for resultatskabelse for denne projekttype. 

Udviklingsprojekter

Udviklingsprojekter bygger på klare formodninger, erfaringer eller måske evidens for, at projektets aktiviteter kan skabe en ønsket forandring. Der er behov for udvikling og videre afprøvning af projektets virkemidler. Typisk vil man opstille projektmål for projektet. Udviklingsprojekter kan bygge videre på forprojekter, men kan også iværksættes uden.

Udbredelsesprojekter

Udbredelsesprojekter bygger på en afprøvet projektmodel, der har demonstreret en værdiskabelse for målgruppen. Fokus er her at udbrede tilbud til en eller flere målgrupper i en bredere kontekst og sikre en bredere forankring – geografisk, ift. nye institutioner, udvidelse af målgruppen m.v.

Eksempel: VILD MAD

Vild mad

Komitéen for MAD Symposium vil med projektet VILD MAD få folk til at sanke vilde råvarer og efterfølgende bruge dem i køkkenet. Nordea-fonden har støttet projektet af to omgange. I første periode havde projektet karakter af et udviklingsprojekt, og evalueringen fokuserede på at undersøge 12 udviklede undervisningsforløb målrettet folkeskolerne samt teste en digital app. I anden periode, hvor projektet har karakter af et udbredelsesprojekt, er evalueringens fokus på partnerskaberne, som etableres med henblik på at skabe værdi og forankring. 

Evalueringstabel

2. Hvad skal evalueringen bruges til?

Står formålet med din projektevaluering lige så knivskarpt for dig og projektets partnere som formålet med jeres projekt?

Hvordan skal evalueringen bidrage til at bringe projektets aktiviteter, projektets deltagere, din organisation eller partnerskaberne videre – under eller efter projektet?

Dette er vigtigt at overveje, fordi det er grundlaget for at formulere gode evalueringsspørgsmål, som evalueringen skal svare på – og dermed sætte en retning for evalueringen og sikre, at den tilfører relevant værdi.

Afklar hvem og hvad

Evalueringer bruges typisk mest, når de inddrager brugernes interesser, formål og behov. Hvordan understøtter man det?

Hvem

Afklar HVEM, der primært skal/kan have nytte af indsigter fra evalueringen – der kan godt være flere. 

Hvis du har refleksioner eller planer om, at aktiviteter, resultater, metoder, viden eller andet skal forankres efter projektperioden, så overvej hvem denne forankring skal ske hos – og om denne eller disse organisationer kan have interesse i indsigter fra evalueringen. Involvering af disse aktører i evalueringen kan ofte være en god måde at involvere dem tidligt i forankringen af dele af projektet.

Hvad

Afklar HVAD brugerne ønsker at få ud af evalueringen, hvilket er den bedste måde at blive tydelig om evalueringens anvendelse. De primære brugere har måske behov for løbende feedback til forbedring af indsatsen, dokumentation af projektets værdiskabelse, eller input til videreførelse af partnerskaber; mens de sekundære brugere måske primært er interesserede i erfaringer med f.eks. projektets virkemidler eller organiseringsmodel.

Spørg dem – og omsæt deres behov til evalueringsspørgsmål. Dvs. formulering af nogle få, centrale spørgsmål, som evalueringen skal bruges til at besvare

Empower_evalueringsguide

Eksempel: EmPowR

Med projektet Forankring af EmPowR vil foreningen GirlTalk videreføre og forankre aktiviteter, der skal afhjælpe mistrivsel hos piger i alderen 13-16 år.

Evalueringen vil løbende blive anvendt til at udvikle og tilrette arbejdet med indsatsen med det formål at forenkle og styrke forankringen hos kommunale samarbejdspartnere. 

Side 6_evaluering

3. Hvilke(n) data er nødvendig for at evaluere projektet?

Måske har I en ambition for projektet om at skabe en blivende, langsigtet effekt på samfundet. I praksis tager jeres projekt dog nok blot et par skridt på vejen mod disse effekter (som i sidste ende påvirkes af mange forskellige ting). Data i en evaluering skal især bidrage til at belyse og måske måle disse skridt.

Hvilke data, der skal indsamles, afhænger dels af projektets karakter (i et udbredelsesprojekt skal data f.eks. sige noget om projektets virkning i forskellige kontekster) og evalueringens anvendelsesformål: Hvem skal have ny/styrket viden om hvad og hvorfor?

Først og fremmest skal data være egnede som input til at give svar på de evalueringsspørgsmål, som I formulerer.

Gode råd til data

Tænk data bredt

Mange forbinder data med tal i et regneark. Men data er i virkeligheden alle slags informationer, der beskriver projektet og dets påvirkning af omgivelserne. Det kan være alt fra iagttagelser og citater til survey-resultater eller fysiske bevægelsesmønstre kortlagt via teledata.

Påvirkning af mennesker

Projekter, der arbejder for det gode liv hos grupper af mennesker, handler ofte om at påvirke målgruppens viden, holdninger, eller adfærd – måske giver det mening for jer at skelne?

Flere trin på vejen mod effekt

Hvis dit projekt skal medvirke til en ændring i målgruppen, er det relevant at overveje, hvor langt projektet bringer dem videre: Skabes der primært nye forudsætninger i målgruppen for, at de kan agere på nye måder? Kan der faktisk i projektet konstateres forandringer i målgruppens adfærd? Eller kan man direkte konstatere, at målgruppen opnår konkrete forbedringer i deres liv?

Led efter indikatorer

Jeres opgave bliver at finde en måde at præsentere projektets komplicerede virkning eller værdiskabelse på en enkel måde. Altså data, der giver fingerpeg om – eller indikationer på – at projektet skaber de effekter, I efterstræber.

Eksempel: I fortidens fodspor

I fortidens fodspor _evalueringsguide

Med projektet I fortidens fodspor vil Museum Silkeborg give borgere, som normalt ikke kommer så meget udenfor, gode grunde til at komme ud i det fri.

Evalueringen skal monitorere projektets målsætninger og finde nye måder til udvikling af indsatser målrettet ikke-naturvante og fysisk inaktive borgere. Data består i, at besøgende svarer på spørgsmål relateret til evalueringen, og der anvendes løbende data fra natur- og motionsvante. Respondenterne deltager (hvis de ønsker det) løbende i evalueringen i from af f.eks. gruppeinterviews. 

Side 7_evaluering

4. Hvilke metoder skal bruges for at indsamle den ønskede data?

Ligesom valg af data afhænger af evalueringsspørgsmålene, afhænger metodevalget af data. Evalueringsmetoder kan være meget andet og mere end interviews, surveys eller træk af registerdata.

Hvis I selv skal forestå evalueringen, så vær kreativ. Og hvis I udbyder evalueringsopgaven eksternt, så begræns ikke evaluatoren ved at kræve, at specifikke metoder anvendes.

Forsøg så vidt muligt at integrere dataindsamlingen i projektets øvrige aktiviteter. Det kan spare ressourcer for både jer og jeres ‘datakilder’.

Gode råd til metoder

Mens nogle metoder kan bidrage til at skabe overblik, f.eks. spørgeskema (kvantitativ metode); kan I med andre metoder som f.eks. interviews opnå et styrket indblik (kvalitativ metode). Ofte er det godt at kombinere, så man både skaber overblik og indblik.

Skab fælles forståelse

Særligt i projektets opstartsfase kan det være en værdifuld investering at mødes i projektgruppen og tegne sammenhængene mellem projektets aktiviteter og udbytte for målgruppen (outcomes) for at skabe en fælles forståelse af projektet og fokus i evalueringen.

Skab fælles refleksion

Hvis I integrerer interview i projektmøder eller deltageraktiviteter, kan det give anledning til fælles refleksion, der kan fremme projektets formål. I kan strukturere samtalen med klassiske dagsordenspunkter, dialogkort/spil eller ‘deltagerrejser’.

Brug interview til inspiration

I kan bruge interview til inspiration ved f.eks. at bede deltagerne indsende små videoer med sig selv, eller hvor de interviewer hinanden efter en kort skabelon.

Skab løbende feedback

Tænk over, om I kan sikre løbende feedback, så valg i projektet hele tiden baserer sig på aktuel data.

Eksempel: Landskab i fællesskab

Øhavsmuseet_evalueringsguide

Med projektet Landskab i fællesskab vil Øhavsmuseet i Faaborg skabe en lokal bevægelse, der får flere mennesker ud i det fri, formidler natur og kulturarv og skaber stærke fællesskaber. Evalueringen, som foretages af ekstern evaluator, skal undersøge i hvilket omfang målgrupperne oplever at have bedre muligheder for og lyst til at være i det fri. Metoden består i indsamling af kvalitativ data blandt netværksgrupper tilknyttet projektet, interviews af brugere og ikke-brugere af museet. Data er løbende blevet brugt til at justere projektet og blevet formidlet til relevante interessenter.  

Side 8_evaluering

5. Hvordan skal evalueringens resultater formidles?

Formidlingen af evalueringen skal først og fremmest understøtte evalueringens anvendelsesformål.

Hvis evalueringen ‘bare’ skal skabe synlighed om projektet i offentligheden, kan I koncentrere jer om envejskommunikation via f.eks. sociale medier.

Men hvis evalueringen skal bidrage til f.eks. at forankre en indsats, påvirke beslutningstagere, styrke eller etablere partnerskaber, forbedre fremtidige indsatser eller give organisationen nye muligheder, så kræver det ekstra overvejelser om til hvem og hvordan I vil formidle evalueringen.

Formidlingens formål

Væk interessen

Vil I vække interesse for jeres indsats i en given målgruppe, kan det være effektivt at kommunikere evalueringens resultater via sociale medier, i nyhedsbreve, medier, fagblade eller til konferencer. Overvej i skriftlig formidling at kommunikere få, centrale budskaber eller indsigter ad gangen – frem for hele evalueringen på én gang.

Skab engagement

Vil I skabe engagement og forankre den viden, evalueringen bidrager med, eller bringe den i spil i nye sammenhænge, så er der behov for tovejskommunikation mellem jer og jeres målgruppe. Det kan ske gennem dialog eller interaktion.

Husk, at ‘less is more’. En tæt dialog med få centrale partnere, projektledere, nøgleinteressenter eller beslutningstagere kan skabe mere forandring end kommunikation med større grupper. Korte skriftlige og/eller mundtlige oplæg kan være en bedre start på en dialog end fyldige evalueringsrapporter.

Mangler I inspiration?

Find inspiration til forskellige formidlingsformater her

Eksempel: Afprøvning af nye organiseringsformer

Projekt: Nye organiseringsformer for frivillige

Projektet Afprøvning af nye organiseringsformer er et partnerskab mellem Bedre Psykiatri, Høreforeningen og Nyreforeningen. I fællesskab vil organisationerne afprøve nye lokale organiseringsformer, som supplement og alternativ til den eksisterende lokalforeningsstruktur. Projektet har etableret et læringsforum for landsdækkende organisationer, hvor viden og erfaringer fra projektet løbende formidles og diskuteres. 


Side 9_evaluering

6. Hvem skal gennemføre evalueringen?

Intern eller ekstern evaluator? Det behøver ikke at være enten/eller.

Flere faktorer spiller ind på denne beslutning. Husk, at en evaluering som regel består af mange aktiviteter, hvoraf nogle måske kræver kompetencer og en armslængde, som dit projekthold ikke selv kan levere.

Mange projektholdere har stor nytte af selv at gennemføre flere evalueringsaktiviteter selv - men med løbende rådgivning fra evalueringsspecialister.

Intern eller ekstern evaluator

Hvilke kompetencer skal bruges?

Ud fra jeres foreløbige overvejelser om evalueringsdesignet (valg af data, metoder og formidling) bør I nøje overveje, hvilke kompetencer, der kræves. Nogle har I måske internt, mens andre kræver ekstern hjælp. Det kan være erfaring med registerdata, surveys, forandringsteori, proceskompetencer osv.

Erfaring

Jo større og mere komplekst et projekt er, jo vigtigere er det at have en person tilknyttet med erfaring fra tidligere evalueringer.

Risiko for bias

Det kan være nødvendigt at bede eksterne om at samle data ind via interview eller survey, fordi det kan påvirke deltagernes svar (hæmme ærligheden), hvis I selv spørger dem.

Troværdighed

Hvis evalueringen skal bruges til at overbevise eksterne interessenter om projektmodellens værdi (f.eks. med henblik på udbredelse), kan der være behov for at sikre objektivitet via en ekstern evaluator.

Kompetenceopbygning

Måske har I et ønske om at udvikle jeres evalueringskompetencer? I så fald kan en ekstern evalueringsfaglig person rådgive jer undervejs, mens I selv forestår evalueringen.

Eksempel: Demokratifitness for unge i hele Danmark

DemokratiFitness_evalueringsguide

Projektet Demokratifitness for unge i hele Danmark har til formål at styrke unges demokratiske selvtillid og evne til at deltage aktivt i samfundet og demokratiet. Projektet har samarbejdet med en ekstern evaluator og udviklet et evalueringsdesign, der skal afdække dels de unges demokratiske selvtillid, dels partnerorganisationernes perspektiv og syn på projektet. Data er blevet indsamlet og analyseret af evaluator (Analyse & Tal) i samarbejde med foreningen 'Demokrati Garage'. 

Side10

7. Hvad vil evalueringen koste? 

Når I skal estimere budgettet for en evaluering er der ganske mange ting at tage hensyn til. Dine overvejelser om guidens foregående seks spørgsmål vil hjælpe dig langt i budgetlægningen.

Ofte vil budgetlægning og udvikling af evalueringsdesign gå hånd i hånd; med mindre I på forhånd har en fast budgetramme.

Husk at skelne mellem det eksterne evalueringsbudget (hvis I har et) og timeforbruget til projektholdets egne evalueringsaktiviteter – sidstnævnte undervurderes ofte.

Afhængigt af ambitionsniveau for evalueringen skal I nok regne med at reservere omkring 5 pct. af projektbudgettet til evaluering.

Gode råd til budget

Opbyg evalueringskompetencer internt

Køb af ekstern støtte til evaluering med fokus på også at opbygge interne evalueringskompetencer undervejs i evalueringen er ofte dyrere end bare at udbyde selve evalueringsopgaven, men kan være en god investering på længere sigt.

Få mest erfaring for pengene

Erfaring og leverancesikkerhed koster penge. Evalueringskonsulenters timerater varierer fra 800 til 2.000 kr/t. Niveauet afspejler ofte konsulentens erfaring.

Spar penge

I kan formentlig spare en del penge på ekstern hjælp, hvis I selv bidrager til dataindsamlingen. Hvis I ønsker en ekstern til at foretage interviews, kan I måske stå for den praktiske planlægning af interviewene

Få flere til at besvare surveys

Man kan arbejde aktivt med at motivere flere til at besvare surveys. Udlodning af f.eks. præmier som incitament for deltagelse kan både spare dyre timer og styrke data.

Hold hyppige møder med evaluator

Hyppige møder med en ekstern evaluator er oftest både mere værdiskabende og omkostningseffektivt end at efterspørge lange afrapporteringer.

Eksempel: Foreningsudvikling og medborgerskab 

Diversity_Works_evalueringsguide

Foreningen Diversity Works vil med projektet Foreningsudvikling og medborgerskab fremme foreningsdeltagelse og dermed medborgerskab blandt udsatte minoritetsetniske danskere i 20-25 minoritetsetniske foreninger.

Evalueringen er en  formativ procesevaluering, hvor evaluator er ansvarlig for at dele feedback og refleksioner over projektet med Diversity Works og de lokale foreninger undervejs, så projektet løbende kan tilpasses og optimeres. Der betales 375.000 kr. (inkl. moms) til den eksterne evaluator, som i løbet af projektperioden skal dokumentere projektets opnåelse af målsætninger samt kvalitativt undersøge projektets læringer bl.a. gennem interviews med deltagere. 

Evaluering s. 11

Evalueringsoversigt

Denne evalueringsoversigt sammenfatter de pointer og opmærksomhedspunkter for de tre evalueringsmodeller, som i guiden er blevet præsenteret løbende for hvert af de syv refleksionsspørgsmål.

Find evalueringsoversigten her 

Nyhedsbrev

Tilmeld dig 'Nyt om gode liv'

Få nyheder, gode råd til ansøgningsprocessen og nyt om støttemuligheder direkte i din indbakke. 

Nordea-fondens nyhedsbrev er til alle, der arbejder med projekter, hvor aktiviteter og fællesskaber er nøgleord.

Du hører fra os ca. 10 gange om året.