För några år sedan läste jag statistik. Det var väldigt intressant. Jag har bara läst på A-nivå så jag är inget proffs men gör här ett försök att problematisera lite. En sak som kursen behandlade var detta med urval vid exempelvis enkäter. Budskapet från statistikläraren var tydligt vad som krävs för att ett urval ska bli bra:
- Ta reda på vilken grupp det är du vill undersöka och undersök den gruppen och ingen annan. Om man ska undersöka gruppen ”tunnelbaneresenärer” så ska man inte ställa sig några timmar utanför sin lokala tunnelbaneuppgång och fråga folk i spärren, då har man ju istället undersökt gruppen ”Personer som reser till eller ifrån hållplats Mariatorget mellan 07:00 och 10:00 en vardag och som ser ut att ha tid med en enkät”
- Urvalet ska vara slumpmässigt på riktigt inom den givna gruppen. Alla i gruppen ska ha samma sannolikhet att få vara med i undersökningen. Bäst är om man har ett registret över gruppen man vil undersöka.
- Det behöver inte vara jätte många personer som väljs ut, förutsatt att dom väljs ut på rätt sätt.
- Se till att få en hög svarsfrekvens bland dem som är utvalda.
- Väljer hellre ett mindre urval och lägg resurserna på hög svarsfrekvens bland dessa
UNF gjorde för några år sedan en medlemsundersökning i enkätform där medlemmar uppmanades att fylla i enkäten bland annat genom personliga uppmaningar på Facebook, där flera medlemmar alltså fick ett meddelande sänt direkt till sig med uppmaning att fylla i enkäten. Meddelandet gick då till dem som kände personer i UNF:s ledning. I resultatet fanns en del konstigheter. Bakgrundsvariablerna stämde inte alls överens med den faktiska medlemsstocken. Det går förstås att korrigera med statistiska metoder, men visar på hur långt ifrån det ”sanna värdet” man kan komma när urvalet inte är slumpmässigt utan snarare ”snow ball sampling” (som är en jätte bra metod i andra sammanhang).
Även IOGT-NTO har gjort en medlemsundersökning. På sida 65 framgår att cirka 25 % av medlemmarna har uppdrag, 18 % av medlemmarna har styrelseuppdrag. Överför man den siffran till Stockholm så skulle alltså cirka 550 personer sitta i styrelsen för de cirka 30 föreningar (varav de flesta är väldigt passiva) som vi har i distriktet. I medlemsregistret får jag fram drygt 100 personers som sitter i föreningsstyrelser i Stockholm, det kan ju dock se annorlunda ut i övriga landet Samma undersökning visar att cirka 1000 medlemmar i IOGT-NTO i hela Sverige har uppdrag på distriktsnivå, främst i distriktsstyrelser. Dessa siffror stämmer förstås inte i en organisation med 23 distrikt. Troligen missar man det sanna värdet med några hundra procent. Det finns så kallat bios (statistiskt fel) i siffrorna. Exakt varför det har blivit fel är svårt att säga.
I undersökningen finns massor av variabler där vi inte kan räkna ut det sanna värdet med hjälp av medlemsregistret. Vi bör dock vara väldigt försiktiga när vi tolkar dessa siffror. Det finns en del väldigt positiva siffror i medlemsundersökningen, bland annat hur stor andel av medlemmarna som är intresserade av att engagera sig mera ideellt. Då måste man ha i baktanke att samma undersökning visar att närmare 1000 personer sitter i distriktsstyrelser. Medlemmar med förtroendeuppdrag på förenings- och distriktsnivå har troligtvis inte samma (högre eller lägre?) benägenhet att engagera sig mera som medlemmar utan styrelseuppdrag. Vad jag känner till har man inte korrigerat för detta i bearbetningen av materialet. Det är sannolikt att det finns bios i fler variabler i undersökningen. Jag säger inte att svaret på frågan om hur många som vill engagera sig mera är fel, jag säger att vi inte kan veta huruvida svaret på den frågan stämmer eller inte. Det kan förstås ge en svag fingervisning, men inte mer än så. Att en överrepresentation av engagerade medlemmar bland de svarande
Jag vill absolut inte hävda att nykterhetsrörelsen skulle vara sämre än andra på att göra medlemsundersökningar. Tvärt om ramlar jag över såna här exempel hela tiden. Enkäter som sprids i form av Facebook-event tycker jag är pinsamma. Webbenkäter på tidningarnas hemsidor. Den första medarbetarenkäten på mitt bussgarage som hade en svarsfrekvens på 25 %. ”Dagens fråga på Lunarstorm” som fanns för några år sedan. Och så vidare.
Det är svårt att utforma sin enkät för att få korrekta svar. Högst upp i detta blogginlägg finns några tips. Men det är absolut inte enkelt. I fallet med IOGT-NTO tycks det som (?) att bortfallet bland medlemmar utan styrelseuppdrag är problemet. Vi kan ju inte åka hem till alla dessa och be dem fylla i enkäten under tvång. Den välutbildade vet säkert fler metoder för hur man får bättre resultat. Tänk på detta nästa gång du tar del av statistik från enkäter!
Oskar, läge att gå vidare till forskning? Ola
Jag viste inte att den fanns att titta på
Är det inte YouGov som byggt metoderna för undersökningen och inte IOGT/Rörelsen själv?
Man är troligen intresserad av att engagera sig om man svarar på en enkät eftersom att svara på en enkät är att engagera sig
Alltså det redovisas ju ingen svarsfrekevens någonstans, är man rädd för något här eller, jag ser inte en anledning att inte göra det.
Jag noterar att folk inte är medvetna om de är direktanslutna eller inte, eftersom folk inte upplyses om våra strukturer ordentligt när de blir medlemar, iaf inte om de registerar sig på hemsidan. Värvare är förhopningsvis bättre på att förklara det och att förklara folkrörelsetanken etc.
Är inte n värdet antalet som besvarar inom intervallet, för när vi tittar på har uppdrag är n=158, vilket låter mer rimligt. Lite intresant är det att äldre är mer positiv upplevelse av vad medlemskapet ger.
När man tittar på bemötandet av nya medlemar och hur de själva representerar sig kan vi fundera på var ansvaret att kontakta de ska gälla etc. Men det gör vi också iofs.
Åh titta n=643 kring styrelseuppdrag. Men blah, som sagt jag tror N är svarande. Fast dina poänger är fortfarande kvar antar jag. Jag förstår inte statisik ordentligt egentligen
OLA: Jag är eg inte så intresserad av akademiskt (säg inte det till mina kunder) men man ska aldrig säga aldrig :-9
VIRRE: Det är väl YouGov i samarbete med IOGT-NTO som gjort undersökningen vad jag har förstått. Men se bara detta som ett exempel, problem finns i fler undersökningar. Jag har lärt mig att n betyder antal svarande och N betyder antalet som fått frågan. Men är inte säker på den saken.