Indikator Opinion utför regelbundna frågeundersökningar för att undersöka den breda allmänhetens åsikter och tankar om centrala politiska frågor. Att låta väljarna göra sin röst hörd, även mellan allmänna val, är en central del av den demokratiska processen i valsystem likt det i Sverige. För att undersökningarna ska vara trovärdiga är det avgörande att metoden som används har en vetenskaplig grund.

Vi förlitar oss uteslutande på beprövade vetenskapliga metoder i våra undersökningar, vilket innebär att det är slumpen som avgör vem som inbjuds att delta. Att det är slumpen, och inte en individs intresse eller politiska engagemang som ligger till grund för att någon kan gå med i en undersökning, är av grundläggande betydelse för att säkerställa att resultaten återspeglar den allmänna opinionen. Användningen av slumpmässigt urval gör det också möjligt att exakt beräkna osäkerheter, ofta refererade till som felmarginaler, som är associerade med undersökningens resultat.

När urvalet inte är slumpmässigt utan baseras på självrekrytering, där deltagarna själva avgör om de vill gå med i en undersökning, riskerar resultaten att bli snedvridna och opålitliga. Om vem som helst kan gå med i en undersökning tenderar resultatet att spegla åsikterna hos de mest politiskt intresserade och engagerade, snarare än den breda allmänhetens åsikter. I värsta fall kan undersökningens integritet ifrågasättas, eftersom grupper med starka åsikter kan ha incitament att mobilisera likasinnade för att manipulera resultaten i en viss riktning. Om det inte är slumpen som avgör vem som bjuds in till en undersökning är det också omöjligt att göra några beräkningar på hur säkra eller osäkra undersökningens resultat är.

Alla stickprovsundersökningar syftar till att dra slutsatser om en större population än det urval som varit med och svarat. Vill vi veta hur svenska folket skulle rösta om det vore riksdagsval idag, måste det finnas en direkt koppling mellan urvalsramen, alltså de som har möjlighet att bli utvalda i undersökningen, och målpopulationen, alltså de vi önskar dra slutsatser om.

Exempelvis så kan vi inte dra slutsatser om hela svenska folket genom att bara intervjua de som bor i Västra Götaland. På samma sätt är det problematiskt att generalisera åsikterna hos alla röstberättigade genom att enbart dra urval från de som man kan koppla ett registrerat telefonnummer till, eller genom att endast vända sig till de som är frekventa internetanvändare.

Därför är det viktigt att vara tydlig med vem som ingår i urvalsramen, så att de som tar del av undersökningen själva kan bilda sig en uppfattning om huruvida resultaten speglar den grupp man vill dra slutsatser om.

Vi använder post för att det är den kontaktväg som gör det möjligt att inkludera samtliga röstberättigade i vår urvalsram. Idag, år 2023, kan mindre än 50 procent av de boende i Sverige över 18 år kopplas till ett mobiltelefonnummer. Nästan alla har däremot en folkbokföringsadress dit det går att skicka post.

Vår erfarenhet av att samla in miljontals enkätsvar varje år har visat att inbjudningar via brev inte bara är den kontaktväg som gör det möjligt att inkludera störst andel av målpopulationen (svenska väljare), utan också den mest effektiva metoden för att uppnå höga svarsfrekvenser. Att skicka fysiska brev där de svarande har möjlighet att skicka tillbaka en fysisk pappersenkät gör det därtill möjligt att nå ut till mindre politiskt intresserade och engagerade väljargrupperna som sällan skulle ansluta sig till en internetpanel.

Nej, vi strävar efter att göra det så enkelt som möjligt för respondenterna att delta i våra undersökningar, eftersom detta är avgörande för att uppnå en hög svarsfrekvens och därigenom data av högsta kvalitet. I Indikator Opinions månatliga omnibus skickar vi en kort pappersenkät som svarspersonen kan fylla i med papper och penna. Med vetskapen om att svarsmönstren varierar mellan olika demografiska grupper, ger vi även alternativet att svara online via såväl svarskoder som scanningsbara QR-koder. För de som inte vill eller kan svara via post eller internet ges möjligheten att ringa in och besvara undersökningen per telefon. Att erbjuda många olika svarsmöjligheter säkerställer att vi kan nå en bredare grupp av deltagare och därmed fånga upp en mångfald av perspektiv och åsikter i våra undersökningsresultat.

Vår grundläggande regel är att undvika att använda vår panel för att göra nivåskattningar för den breda allmänheten. Panelundersökningar är utmärkta för specifika typer av frågeställningar. De är särskilt användbara när vi vill spåra förändringar i opinionen på individnivå över tid, eller när vi vill förstå åsikterna hos ett specifikt segment av väljarkåren.

Utmaningen med panelundersökningar ligger i att de personer som väljer att delta, särskilt de som är aktiva över en längre period, ofta är mer politiskt informerade, intresserade och engagerade än genomsnittsväljaren. I praktiken riskerar detta att leda till att vi får en snedvriden bild av den allmänna opinionen, vilket framhäver rösterna hos de politiskt intresserade och engagerade på bekostnad av de med mindre intresse och engagemang.

Transparens är central i vår metodik, särskilt när det gäller att redovisa svarsfrekvenser. För att utomstående ska kunna skapa sig en uppfattning om en undersöknings kvalitet är det av största vikt att klart och tydligt specificera populationen, urvalsstorleken och antalet respondenter som har svarat på undersökningen.

Vi följer dessa steg för att redovisa svarsfrekvenser:

• Definiera populationen: Det första steget är att klart och tydligt definiera populationen. Det kan till exempel vara alla röstberättigade, personer med ett registrerat telefonnummer eller personer med tillgång till internet. Detta steg är avgörande eftersom det lägger grunden för hur resultaten kan tolkas och appliceras. I vårt fall riktar vi oss till röstberättigade svenska medborgare mellan 18 och 80 år med en känd folkbokföringsadress.
• Ange urvalsstorleken: Vi specificerar hur många personer som har valts ut för att delta i undersökningen och att ingen urvalsperson kan ersättas med svar från någon annan respondent. 
• Redovisa antalet svar: Vi redovisar antalet personer som faktiskt har svarat på undersökningen.

Genom att hålla oss till dessa steg ser vi till att våra svarsfrekvenser är transparenta och lätta att förstå, vilket i sin tur bidrar till att upprätthålla förtroendet för våra undersökningsresultat.

Indikator genomför varje år ett stort antal befolkningsundersökningar (likt Indikator Opinion) på uppdrag av universitet, kommuner, regioner och myndigheter. Svarsfrekvensen i dessa undersökningar varierar stort beroende på undersökningens avsändare, tema, antal frågor, fältperiodens längd, antal påminnelser osv. Vad som är en bra svarsfrekvens beror helt enkelt på förutsättningarna för undersökningen.

I många fall lyckas vi nå svarsfrekvenser på 50 – 70 procent, då krävs ofta en flera månader lång fältperiod med ett stort antal påminnelser. Ett exempel är SOM-undersökningarna som har en svarsfrekvens på omkring 50 procent där fältperioden pågår i drygt 100 dagar. Indikator Opinion har en, för vår insamlingsmetod, mycket kort insamlingsperiod på endast 21 dagar. Jämför vi med andra undersökningar, såsom SOM-undersökningarna, så har vi en betydligt högre svarsfrekvens efter tre veckors fältarbete. Indikator Opinions svarsfrekvenser står sig också mycket väl i jämförelse med andra samhällsviktiga undersökningar från bland annat SCB och Konjunkturinstitutet.

Svarsfrekvens är en nyckelfaktor för att bedöma en undersöknings kvalitet, vilket gör transparens i frågan centralt. Det är emellertid lika viktigt att ta hänsyn till andra aspekter som urvalsmetod, hur frågorna formuleras och principerna för justeringar av insamlade data genom viktning.

Vår utgångspunkt är att det ska ställas samma krav på transparens kring svarsfrekvensen i både panel- och tvärsnittsundersökningar. För att kunna ta ställning till en panelundersöknings tillförlitlighet är det viktigt att vara transparent med hur panelen har rekryterats och hur svarsfrekvensen såg ut i alla steg.

Ett vanligt sätt att bygga upp så kallade “sannolikhetsrekryterade paneler” är att genomföra rekryteringen via marknads- och opinionsundersökningar som sker via telefon. I de fall rekrytering sker genom en telefonundersökning bör svarsfrekvensen först redovisas för just denna insamling. Därefter bör det framgå vilken andel som delade med sig av sina e-postuppgifter för att bli inbjuden i panelen. I nästa steg bör det redovisas hur många som svarat på rekryteringsenkäten och gått med i panelen. I sista steget bör det redovisas hur många som deltagit i en specifik undersökning, den så kallade deltagarfrekvensen. Den kumulativa svarsfrekvensen (också kallad effektiv svarsfrekvens) beräknas därefter genom att multiplicera alla steg i datainsamlingsprocessen. Detta stegvisa tillvägagångssätt säkerställer att varje fas i datainsamlingsprocessen är transparent och att alla utomstående får den information de behöver för att utvärdera undersökningens tillförlitlighet. Tabellen nedan visar scenarier med olika svarsfrekvenser där den inledande rekryteringen skett via en telefonundersökning.

Få panelundersökningar redovisar den effektiva svarsfrekvensen i sina undersökningar. De som gör detta visar att datainsamlingar, där syftet är att rekrytera direkt in i en panel (alltså inte som en del av en annan telefonundersökning), har en svarsfrekvens på omkring 8 procent. En siffra som reduceras kraftigt mellan första och andra panelvågen där det framförallt är de med lågt politiskt intresse och kunskap som försvinner. Därefter brukar deltagarfrekvensen, alltså de som svarar på en undersökning som redan är medlemmar i en panel, ligga någonstans mellan 40 och 70%. I praktiken innebär detta att svarsfrekvensen i sannolikhetsrekryterade paneler – i förhållande till originalurvalet – högt räknat ofta ligger på någon enstaka procent.

Exempeltabell för beräkning av svarsfrekvens i panelundersökningar

Lästips:

• Medborgarpanelen Göteborgs universitet
• PEW
• Statistikfrämjandet

Viktning av undersökningsresultaten är en viktig del av processen att korrigera eventuella skevheter och säkerställa att data är representativa för hela populationen. Denna process innebär att svar från grupper med lägre svarsbenägenhet viktas upp, medan svar från mer svarsbenägna grupper viktas ner. Vi strävar efter att göra viktningen så enkel och transparent som möjligt. Alla våra undersökningar är viktade efter officiell statistik gällande ålder, kön och partival i föregående riksdagsval. Denna efterbearbetning syftar till att säkerställa att undersökningsresultaten speglar den bredare populationens sammansättning och åsikter.

Traditionellt har samhällsvetenskapliga undersökningar ofta inkluderat en övre åldersgräns av praktiska orsaker. Fram tills nu har Indikator Opinion också haft en sådan gräns. Efter att SPF seniorerna uppmärksammat frågan, har vi tillsammans med Sveriges Radio beslutat att från och med december helt ta bort den övre åldersgränsen. Det finns specifika utmaningar i att nå de äldre äldre, men dessa väger lätt i jämförelse med principen att alla röstberättigade ska ha möjlighet att komma till tals i våra undersökningar.

Det är viktigt att framhålla att den faktiska åldersgränsen idag inte är den enda faktorn som exkluderar olika väljargrupper från att komma till tals. En aspekt som har minst lika stora konsekvenser handlar om att olika insamlingsmetoden per definition skapar åldersexkludering. Detta gäller både för telefonundersökningar – där det idag är vanligare att yngre väljare saknar publika nummer – och för undersökningar som genomförs via befolkningspaneler, där det förutom ett stort politiskt intresse också krävs betydande digitala kunskap, vilket av praktiska skäl utestänger delar av valmanskåren.

I våra undersökningar gör vi allt för att underlätta för deltagarna att ge sina svar. Därför använder vi post som första kontaktmetod, där deltagarna kan välja att svara antingen genom en kort pappersenkät eller, om de föredrar, genom att ringa in sina svar. Dessa alternativ är särskilt uppskattade bland äldre svarspersoner.

När vi i december tar bort den övre åldersgränsen blir Indikator Opinion det första institutet som genom ett slumpmässigt urval erbjuder alla väljare, oberoende av ålder, en chans att ge sin syn på dagsaktuella politiska frågor. Det här gäller frågan om röstningsintention, men också andra frågor som är minst lika viktiga från ett demokratiskt perspektiv såsom vilken fråga som är väljarnas viktigaste, väljarnas betyg på partiernas politik och vilket förtroende väljarna har för partiernas främsta företrädare.