Statistik och undersökningar – kan man lita på sånt?

Idag kan man läsa i olika tidningar om att svenskar blivit bättre på att panta burkar och flaskor – 2011 pantade vi mer än någonsin. Och så jämför man olika län och olika kommuner.

Fast det handlar bara om antal pantade burkar och flaskor. Det framgår ingenstans hur stor andel av sålda burkar och flaskor som pantas. Ökningen skulle alltså helt och hållet kunna handla om att folk köper fler burkar och flaskor. (Nej, det vet jag inte om folk gör. Det skulle kunna vara så.) Och de kommuner som har väldigt lågt antal pantade burkar per capita skulle kunna vara bättre på pantning, sett till andel, för deras låga siffra kan ju bero på att de köper färre burkar och flaskor.

Detta får vi inte veta. Det är mycket möjligt att Returpack inte har en aning, och det är förstås i vilket fall som helst inte deras sak att räkna på. Men det gör att jag egentligen inte alls kan veta om nyheten är bra eller dålig.

I dagarna har jag för övrigt fyllt i årets enkät från dagis (eller ja, från kommunen, angående dagis). Nu ska jag inte peka ut just dagis eller kommunen, jag har träffat på många lika dåliga enkäter, men det är det senaste tydliga exemplet på riktigt dålig enkät.

Bland annat hade den många många frågor där man skulle värdera något på en tiogradig skala. Tiogradig! Hur skiljer man på saker som får en sjua och en åtta? Varför är det alls motiverat att ha så många betygssteg? Speciellt när det handlar om saker som är väldigt svåra att bedöma. Som hur personalen hanterar tendenser till mobbing eller hur de bemöter mitt barns behov av ditten eller datten. Hur jag i slutändan väljer att sätta siffror på en så löjligt detaljerad skala beror ju på en massa saker. Inte minst mitt humör just för dagen, min allmänna livsinställning (optimist eller pessimist, försiktig eller mer framåt och katig) och inte minst den allmänna uttråkning som ökar ju fler meningslösa frågor av liknande slag man tvingats svara på.

Många av sakerna är ju dessutom saker som jag verkligen verkligen inte kan svara på. För att jag inte har en aning. För att det till exempel aldrig varit relevant. Hur svårt tycker jag att det är att nå förskolechefen på en skala på ett till tio? Ja, hur sjutton ska jag veta när jag aldrig försökt?! I andra frågor är jag istället osäker på hur frågan ska tolkas. Då behövs en möjlighet att kryssa ”Vet ej” eller nåt sånt. Det fanns det ingenstans i dagisenkäten (och det är tyvärr ganska vanligt). Ingenstans i enkäten (tyvärr lika vanligt) fanns det fritextfält, så jag kunde inte heller skriva en allmän beklagan eller förklaring kring osäkerheten i mina svar.

Det finns alltså ingen möjlighet att fylla i enkäten på ett korrekt sätt.

Det hemska är att utifrån den här sortens enkäter dras det en massa slutsatser! Trots att tillförlitligheten är lika med noll.

Det är skrämmande. Dåligt utformade enkäter kan användas till att bevisa precis vad som helst.

Enkäten som var underlig till rapporten om klimatosäkerheten i kommuner verkade på det hela ha varit ganska genomtänkt. Man hade grunnat länge på frågeställningar och hur de skulle användas och hur det skulle bli jämförbart med andra undersökningar. Ändå blev det inte helt lyckat. Ett av påståendena enkätbesvararna skulle ta ställning till var ”Det finns inget tvivel om att klimatet förändras”. Väldigt öppet för tolkning. Rapportförfattarna avsåg tydligen tvivel hos den som svarade på enkäten. Men de som svarade kan ju lika gärna ha svarat på om det överhuvudtaget i världen finns tvivel=folk som tvivlar. och det gör det ju. (Det finns mer att säga om tolkningarna av denna enkät, men jag har redan skrivit om det, så det får räcka.)

Jag tycker  annars att det kan vara väldigt kul att svara på undersökningar, och jag ser (som kanske ibland märks) en poäng med att min åsikt syns. Därför gick jag för ett tag med i Yougov:s panel.

Deras enkäter är i de flesta fall verkligen usla. Väldigt ofta inga vettiga svarsalternativ, ingen möjlighet att kommentera, inget vet ej/ingen åsikt-alternativ, och så vidare. Och värst av allt: många av undersökningarna är inget annat än dåligt förtäckt reklam :-(

Häromsistens skulle jag till exempel svara på frågor om vilket knäckebröd jag skulle välja om jag stod i affären, och så fanns det en vy med olika knäckebröd i en knäckebrödshylla. Men de hade förstås inte alla de knäckebrödssorter som finns i affären. Och inget normalt ekologiskt knäckebröd. Ändå var man tvungen att svara på vad man skulle ha valt.

Det stod också att man skulle kunna ”plocka ner” dem från den virtuella ”hyllan” för att titta på dem, precis som i affären. Men det innebar bara att få paketet i förstoring. Det gick inte att vända på det för att läsa innehållsförteckningen – vilket ju är det jag normalt sett gör när jag plockar ner ett paket från hyllan för att titta närmre på det. Det skulle jag normalt sett alltid göra. Det är ju inte designen som är relevant. Men de förväntar sig alltså att jag ska köpa saker i blindo.

Slutligen ville de att jag skulle svara på ett stort antal frågor om det här märkets olika knäckebrödssorter. Det var väldigt uppenbart att de ville tvinga mig att titta närmre på alla deras sorter. Och ingenstans i ”undersökningen” fanns möjlighet att hoppa över frågorna, eller svara att jag inte skulle köpa någon alls av dem.

Den här modellen med hylla, tvånget att välja produkter bland ett ickeautentiskt utbud, och så vidare, är en återkommande variant i yougov:s undersökningar. Tydlig produktplacering och reklam. Men de kör också ett antal andra varianter som också helt uppenbart mer handlar om att nöta in utseeendet på förpackningar än att de faktiskt vill veta något.

Jag tycker det är fult. Mycket fult. Därför ignorerar jag numera mejl om undersökningar från Yougov. Jag betraktar dem inte som ett seriöst undersökningsföretag.

För att nu försöka knyta ihop detta röriga inlägg en aning (jag måste snart sova) så ska jag nu återvända till statistik.

Låt oss ta till exempel utsläppsstatistik. Utsläpp som fördelas per kommun, och sedan dessutom per capita i kommunen. Utsläpp som man från kommunernas sida jobbar hårt på att få ner.

Och så har vi två grannkommuner – den ena med jättebra siffror, som de är stolta över, den andra med rätt dåliga siffror. Och så plötsligt flyttar ett stort företag över kommungränsen och tar med sig alla utsläppen. Över en natt har den tidigare jättebra kommunen blivit skitdålig, och den skitdåliga jättebra. – Då kan man ju fråga sig hur användbar statistiken egentligen är, när den är utformad på det sättet.

Kontentan?

Var skeptisk till undersökningsresultat. Och vågra vägra svara på dåliga enkäter.