Det kom som et chok for mange mennesker, da briterne stemte sig selv ud af EU, og da de amerikanske borgere valgte Donald Trump som præsident. For meningsmålingerne havde i månedsvis varslet et helt andet resultat.
Nu har den danske statsminister udskrevet folketingsvalg, og for at sikre, at meningsmålingerne – i modsætning til tidligere valg – spejler det endelige valgresultat, har Djøf udviklet et nyt valgbarometer, Djøf-indekset. De første resultater fra indekset kommer i næste uge.
Det nye valgindeks er ikke en meningsmåling i sig selv, men et gennemsnit af de meningsmålinger, som de forskellige institutter, som fx Gallup eller Voxmeter, laver. Det skal snarere sidestilles med de valgbarometre, som bl.a. DR, Politiken eller Berlingske laver.
Ifølge Martin Vinæs og Jens Olav Dahlgaard fra henholdsvis Aarhus Universitet og CBS, som står bag Djøf-indekset, har de førnævnte valg lært os, at der er brug for en mere fornuftig opfattelse af, hvad meningsmålinger kan sige.
"Det er lidt en kompleks lærestreg, som jeg tror, de her valg har lært os. Målinger er det bedste bud, vi har, på hvad resultatet bliver. Men samtidig viser valgene, at den usikkerhed, vi godt vidste, der var, er væsentligt større end tidligere antaget," siger Jens Olav Dahlgaard.
Hvem vinder valget?
For at sikre, at Djøf-indekset ikke rammer helt ved siden af skiven, har forskerne ladet sig inspirere af en amerikansk statistiker.
Under den amerikanske valgkamp i 2008 oprettede den dengang blot 30-årige Nate Silver bloggen FiveThirtyEight, hvor han præsenterede en statistisk model, der lykkedes med at forudsige vinderen i 49 ud af 50 stater. I 2012 ramte han plet på alle, og i 2016 var hans model den af alle i USA, der gav Donald Trump størst sandsynlighed for at vinde valget. Det er hans model, der har inspireret Jens Olav Dahlgaard og Martin Vinæs.
"Modellen tager alle de meningsmålinger, som bliver offentliggjort i løbet af valgkampen, og vægter dem sammen. På den baggrund får vi et bedre bud på, hvordan danskerne ville stemme, end hvis vi bare tog udgangspunkt i en enkelt meningsmåling," siger Jens Olav Dahlgaard.
Men indekset bruger ikke bare gennemsnittet fra de mange målinger som rettesnor, men holder de nye målinger op imod gamle. Til det bruger forskerne såkaldt bayesiansk statistik.
Hvis man fx vil vide, hvor mange stemmer Socialdemokratiet ender med at få, og der kommer en ny måling ind, så bruger forskerne den bayesianske statistik til at afgøre, hvor meget den nye information skal vægtes i forhold til den eksisterende viden.
"Vi mener, at fortiden er god til at forudsige fremtiden. Og det bruger vi til vores fordel her," siger Jens Olav Dahlgaard.
Fortidens viden
Djøf-indekset er forskellig fra andre indekser i forhold til den måde, de andre opgør statistisk usikkerhed på. Valgbarometre som Berlingskes, Politikens eller DR's vurderer ikke usikkerheden ud fra, hvordan målingen står i forhold til tidligere målinger, men ud fra hvordan den enkelte måling er lavet.
"Problemet med de andre indekser er, at de antager, at de, som er blevet udspurgt, er blevet trukket tilfældigt ud fra vælgerbefolkningen, og så siger de, at ud fra den antagelse kan man beregne en statistisk usikkerhed. Men problemet er, at dem, der er med i de her meningsmålinger, ikke er tilfældigt udvalgte. Der er en skævhed i det, som giver en betydelig statistisk usikkerhed," siger Martin Vinæs.
"Den ekstra usikkerhed tager vi højde for ved ikke at bygge vores usikkerhedsangivelse på en antagelse om, hvordan data er indsamlet, men ud fra, hvordan meningsmålingerne har ramt tidligere," siger han.
Forskerne mener selv, at de dermed har en mere realistisk forhold til den usikkerhed, der er i en meningsmåling. Sammen med målingen udgives et såkaldt troværdighedsinterval, som vurderer, hvor langt målingen i 95 procent af tilfældene vil være fra det endelige valgresultat.
"Troværdighedsintervallet er lavet efter, hvor gode målinger tidligere har været til at ramme valgresultatet. Så hvis vi ser på tværs af de sidste 30 år, hvor langt har gennemsnittet af målinger været fra valgresultatet? Det bruger vi til at sige, hvor langt fra de vil være ved det her valg," siger Martin Vinæs.
Hvorfor kan man ikke lave den perfekte meningsmåling?
"For det første kan man ikke tvinge folk til at deltage i en meningsmåling. Lige så snart folk kan nægte at deltage, bliver målingen skæv. Og selv hvis man kunne tvinge folk, kan man ikke tvinge dem til at svare sandt,” siger Martin Vinæs.
Opdateret 10. maj, kl. 9.30: Vi har tilføjet oplysningen om, hvornår de første resultater fra indekset bliver offentliggjort.
