Det här inlägget började som en text om skolforskning och problemet med att vi sällan hinner eller orkar kolla vad folk menar när de hävdar att forskning stödjer deras sak. Det slutade inte riktigt där, men det märker du antagligen efterhand. Bonus: om du orkar läsa enda till slutet får du också reda på varför Jelly beans inte ger dig finnar.
Min utgångspunkt är dock att oavsett bakgrund lär du någon gång ha kommit i kontakt med forskningens svarta låda. Någon påstår något.
– Hur vet du det? frågar du.
– Forskning! blir svaret.
Och jag gissar att du inte alltid varit helt tillfreds med svaret. Kanske för att du hört någon säga något som går tvärs emot det du nyss hörde, men som försvarats på samma sätt. Eller för att du har en gnagande känsla av att ”lite på forskningen (utan närmare förklaringar och frågor)” bara är en variant av ”lita på mig (utan närmare förklaringar och frågor)”.
Detta är forskningens svarta låda. Den finns också i en institutionsvariant: Stoppa in pengar, forskare, kanske ett par stackars råttor. Stäng locket. Obs! Titta inte! Och vips, ut på andra sidan ––> forskningsresultat! Vem har sagt att forskningspolitik är svårt?
Den svarta lådan kan vara väldigt behändig. Ingen har ju tid att kontrollera allt som påstås stup i kvarten. Därför måste vi av rena effektivitetsskäl ofta lita på att de som gör saker vi inte förstår faktiskt vet vad de sysslar och är ärliga med vad de kommer fram till. Jag vet till exempel inte hur man beräknar turbulens, men jag sätter mig i flygplanet och somnar i hopp om att åtminstone ett personer längst där framme har tillräcklig koll. För vad skulle alternativet vara? Gå och korsförhöra piloterna inför varje flygning? Ringa ingenjörerna på Boeing? Det skulle ta evigheter att komma iväg om jag ens någonsin fick boka en biljett igen.
Men det finns också skäl att öppna lådan ibland för att se vad som försiggår där inne. Till exempel när du alltför ofta hört flera meningsmotståndare hänvisa till väldigt lika svarta lådor. Det står forskning på alla lådorna, men om de kommer fram till helt olika saker, är det då verkligen samma process inuti?
Svarat på den sista frågan är givetvis nej. Forskning är ett väldigt tänjbart begrepp. Vissa skulle hävda att forskning framför allt handlar om systematisk inhämtning av kunskap på ett någorlunda transparent sätt. Gränsdragning mot journalistik riskerar då att bli suddig. Samtidigt finns det tvivelsutan gott om saker som behöver undersökas noggrant och om det bara är journalistiska metoder som står till buds, till exempel intervjuer, kanske frågan måste vara hur vi på ett tillfredsställande sätt ska använda de metoderna*.
En annan betydligt striktare, för att inte säga dogmatisk hållning, förespråkas av Nobelpristagaren i fysik, Richard Feynman, som verkar vilja reducera vetenskap till beskrivning av naturlagar. Jag är tveksam om det är en särskilt hjälpsam hållning, men det illustrerar väl vidden av vad olika personer vill tränga in under forskningens paraply.
Jag tror att vi måste vänja oss vid att det är så här. Och att vi måste prata om forskningens innehåll istället för att bara läsa slutsatserna i sammanfattningen. För oavsett hur mycket man tycker det är lämpligt att tränga in under begreppet forskning kommer inget konsensus nås eftersom beskrivningen av verkligheten oftast är vad offentliga bråk handlar om.
Om vi tar skolan som exempel så går det tretton på dussinet av debattartiklar eller utspel i den här stilen:
Pedagogiken i skolorna har sällan något stöd i forskningen. Istället vilar undervisningsmetoderna på ideologisk grund. Därför är det hög tid att städa bort de pedagogiska myterna och blicka framåt, skriver Margareta Pålsson (M), ordförande i riksdagen utbildningsutskott. SvD Opinion 20150915
Att detta kommer från ett av högerpartierna som har röstat fram läroplanerna som har gällt de senaste 35 åren (Lgr 80, Lpo 94 och Lgr 11 av regeringen Fälldin, Bildt och Reinfeldt respektive) är i sig talande för hur mycket kampen handlar om att få sin verklighetsbeskrivning accepterad; snarare än att argumentera för att ens åsikter är bättre. Men Margareta Pålsson spelar också forskningskortet vilket nästan alla som debatterar skolan nu gör.
Hennes slutsatser om att mindre klasser är värdelösa tänker jag försöka kommentera i ett framtida inlägg. Min poäng är att vi måste vänja oss vid att debatten kommer se ut så här. Ena sidan hänvisar till en verklighet. Den andra till en annan. Det kommer i slutändan alltså handla om hur bra vi är på att skärskåda inte någons argument utan deras verklighetsbeskrivning. Och kan vi det?
Jag skulle säga både ja och nej. Det är inte rimligt att förstå allt och kunna göras allas jobb. Men däremot måste vi nog fundera på om om vi kan få en bättre förståelse för forskningens villkor. Jag skrev om studien med sommarjobbs effekt på ungdomsbrottslighet för att den använde en grundläggande metod för att hantera många av dem problem som forskningen ställs inför, nämligen randomisering för att veta att två grupper faktiskt är jämförbara.
En fråga om hur forskarna valt att hantera problem med olika gruppers icke-observerabara egenskaper kan alla lära sig att ställe. Till exempel när någon säger:
– Storleken på en skolklass spelar inte någon roll för hur mycket eleverna lär sig, det är forskning.
Fråga då hur forskarna har gjort. För om de har jämfört hur det går för barn i små klasser respektive i stora rakt av kan du vara ganska säker på att personen eller forskarna för den delen inte vet vad de pratar om. För tänk själv. Vilka personer sätter lärarna i mindre klasser om de har ett val? De svagare eleverna. Och om ekonomin är ansträngd, antingen för att kommunen budgeterat för lite pengar eller skolan är privatägd och ägarna vill ha vinst, vilka elever kan man då tryggt klumpa ihop 35 i vart klassrum för att spara in lärartjänster? De starkaste så klart. Om du då jämför elever som går i små klasser med elever som går i stora klasser och ser att de i stora klasser klarar sig bättre. Vad har du då visat? Att elever som är bra på att studera lär sig bättre än elever som är dålig på att studera.
Den inneboende förmåga eleven kommer med till skolan syns ju inte direkt utanpå vilket gör att skolklassernas storlek ofta kan bli en proxy/signal för lärarnas bedömning av elevens behov. Och då blir klasstorlek bara en synlig markör för den svårfångade personliga kapaciteten. För att klasstorlek (om vi nu förutsätter att mindre klasser är bättre för elevernas inlärning) ska visa sig vara bättre i jämförelser rakt av måste klasstorlek vara så mycket bättre att det kompenserar hela övertaget elever från studievana hem kommer med till skolan. Det är ganska mycket begärt. Och när mindre klasser inte klarar av att vara riktigt så bra blir resultatet att forskare bara jämfört svaga elever med starka elever. Resultatet av det är förutsägbart.
Ändå är det ofta så man jämför. Vetandets värld på Sveriges radio har gjort en hel reportageserie om skolforskning och OECD:s arbetsmetoder. PISA-undersökningen som ingen kan ha undgått att höra om vid det här laget är OECD:s verk och verkar lämna mycket övrigt att önska. I ett av programmen påpekas att Shanghai inte låtit många av de elever som kommer från mindre studievana hem gå i de skolor som inkluderas i studien. Förutsägbart nog går det då bra för Shanghais ungdomar. Och OECD framhåller det som en bevis på hur bra skolsystemet är…
Företaget McKinsey som har tagit fram två stora rapporter om skolstyrning och utbildning återkommer också i debatten som producenter av gedigen kunskap på området. Men de som granskar rapporterna hittar klyschiga rekommendationer presenterade som spännande ny forskning. Om de ens får ta del av undersökningarna. Företaget klarar nämligen inte av det mest banala forskningskriteriet – transparens. Att det ska gå att se och förstå vad som ligger bakom någons slutsatser. På ett universitet är brist på transparens oredlighet. I det privata näringslivet kallas det företagshemligheter. Så här skriver Vetandets värld om McKinsey och OECD:s relation.
Forskaren Frank Coffield vid Institute of Education vid University of London sågar rapporterna och visar att de är metodmässigt felaktiga, saknar bevis för sina teser, har ett auktoritärt språk och eftersom de är ovetenskapliga är de också farliga, enligt honom. OECD:s Pisa-chef Andreas Schleicher som har skrivit ett mycket positivt förord till den första rapporten medger nu att metodiken i rapporterna är svag men står fast vid att de har ett värde i att ha gett nya perspektiv på skoldebatten.
Sverker Lindblad, pedagogikprofessor i Göteborg säger att McKinsey-rapporterna haft ett mycket stort inflytande över debatten i Sverige och att det är synd att det sker på bekostnad av annan akademisk kunskap inom området. Hjärnforskaren Martin Ingvar som i flera sammanhang hänvisat till McKinseys arbete förklarar det med att akademin misslyckats med att leverera det som beslutsfattarna behöver. Vetandets värld 20150402
Frågan jag ställer mig när jag läser Martin Ingvars stöd för rapporten är: Fick han ta del av metoderna för att ta fram McKinseys slutsatser? Eftersom Sveriges radio inte fick det. För han svarar egentligen inte på varför McKinsey har rätt i sina slutsatser. Istället hänvisar han till vad beslutsfattare behöver och att McKinsey levererade det. Men vi får inte heller riktigt veta vad det är beslutsfattare behöver. Är det ett gediget faktaunderlag? Eller är det hemliga rapporter som kan användas för att vifta bort kritik, men inte får granskas? Det senare kan jag tänka mig att en del beslutsfattare efterfrågar i alla fall. I en värld där efterfrågan och behov ofta likställs illustrerar forskningen om skolan vikten av att öppna de svarta lådorna ibland och kontrollera att det verkligen är vad vi förväntar oss i dem.
I vilken utsträckning det går att göra är väl en öppen fråga. Men att det går att göra mycket mer än vi gör i dag borde ingen kunna tvivla på. För det är som Jeff Leek skriver på sin blogg att de flesta som analyserar data idag inte är statistiker. Vare sig vi tycker det är bra eller dåligt. Det har att göra med att både data och verktyg för analys blivit väldigt billigt. De flesta saker du kan göra med dyra program som SPSS, Stata eller SAS kan också gratisprogrammet R göra. Kurser i R och data-analys erbjuds nu också gratis på flera håll, till exempel av Jeff Leek och hans kollegor på John Hopkins. Kolla till exempel in utbudet av kurser här: EDX, Coursera .
För skeptikern tillhandahåller Jeff Leek med flera också metaforskning eller vad det ska kallas. På Coursera körs kurserna varje månad och de har vid det här laget utbildat miljoner människor i grundläggande statistik. Eftersom allt är elektroniskt finns det alltså tonvis med data på hur folk lär sig statistik. Leek och kollegor har då helt enkelt börjat forska på hur man på bästa sätt kan lära ut forskning (eller i alla fall en viktig del). I artikeln: ”A randomized trial in a massive online open course shows people don’t know what a statistically significant relationship looks like, but they can learn” tittar de på hur människor på deras kurser hanterade statistiska bedömningar utifrån punkt-diagram, något som förekommer i vart och vartannat sammanhang. Värt att läsa för den som är intresserad. Hela artikeln ligger ute här. De visar att vi ofta underskattar hur lite som krävs för att ett samband ska vara statistiskt signifikant. Studien använder randomisering, men i det här fallet är det värt att komma ihåg att även om de gav studenterna olika uppgifter och möjlighet till inlärning slumpmässigt var det såklart ett urval av personer som sökt sig till utbildningen från början. Dock är det kanske inte ett allt för vilt antagande att folk som vill förstå statistik är intresserade av att lära sig mer.
Jeff Leek skriver mycket om hur vi alla kan bli bättre på att bedöma forskning och statistik. Tydligen har han en bok på gång också som handlar om att vi alla, även forskare, är amatörer på det mesta och det därför inte finns någon större anledning att inte försöka förstå det som intresserar oss eller verkar märkligt. Han skriver om det här. Värt att läsa om inte annat för alla som retar ihjäl sig på att Annika Dahlström uttalar sig vitt och brett om könsskillnader och glatt frontade sin professorstitel – i histologi…
Det här inlägget har redan blivit alldeles för långt och behöver avslutas på något sätt så för att bara ge eventuella föräldrar som tagit sig så här långt ner på sidan en liten bonus. Du kommer sova bättre om du kan lite statistik. Leek igen: Statistical illiteracy may lead to parents panicking about Autism. Antagligen blir det också lättare att strunta i merparten av all forskning som rör mat, se punkt sju i: 10 things statistics taught us about big data analysis
Om någon har vänner på Sveriges radio får ni gärna tipsa dem om ovanstående poänger också. Alla skulle nog tjäna på att slippa läsa den här ingressen:
”Det har betydelse vilket sjukhus förstföderskor väljer när det gäller risken att drabbas av allvarliga bristningar. I Skåne är det nämligen stora skillnader mellan sjukhusen, visar statistik Sveriges Radio tagit del av.” Sveriges radio P4:s program
Jag mejlade reportern och frågade hur de tagit fram statistiken. De begärde ut antal förstföderskor och antal skador hos desamma. Sedan dividerade de siffrorna för varje sjukhus. Någon borde kanske påpeka att deras utsaga har noll täckning om det är metoden de har använt. Det är också lite beklämmande att ingen av de inom vården som intervjuas verkar ha tagit in det. Eventuellt får det bli ett inlägg om det framöver. Förhoppningsvis ett lite kortare.
*Just inställningen till hur vetenskaps-lik den journalistiska metoden borde vara lär ha drivit två av Sveriges främsta grävande journalister isär. Janne Josefsson intervjuas efter Hannes Råstams död här och medger att han helst ville få publicerat saker medans Råstam var beredd att fortsätta gräva hur länge som helst.
På medellång sikt 