Månadsarkiv: maj 2015

Förståelse för forskning leder till bättre sömn och matvanor (i synnerhet för föräldrar)

Det här inlägget började som en text om skolforskning och problemet med att vi sällan hinner eller orkar kolla vad folk menar när de hävdar att forskning stödjer deras sak. Det slutade inte riktigt där, men det märker du antagligen efterhand. Bonus: om du orkar läsa enda till slutet får du också reda på varför Jelly beans inte ger dig finnar.

Min utgångspunkt är dock att oavsett bakgrund lär du någon gång ha kommit i kontakt med forskningens svarta låda. Någon påstår något.

– Hur vet du det? frågar du.

– Forskning! blir svaret.

Och jag gissar att du inte alltid varit helt tillfreds med svaret. Kanske för att du hört någon säga  något som går tvärs emot det du nyss hörde, men som försvarats  på samma sätt. Eller för att du har en gnagande känsla av att ”lite på forskningen (utan närmare förklaringar och frågor)” bara är en variant av ”lita på mig (utan närmare förklaringar och frågor)”.

Detta är forskningens svarta låda. Den finns också i en institutionsvariant: Stoppa in pengar, forskare, kanske ett par stackars råttor. Stäng locket. Obs! Titta inte! Och vips, ut på andra sidan ––> forskningsresultat! Vem har sagt att forskningspolitik är svårt?

Den svarta lådan kan vara väldigt behändig.  Ingen har ju tid att kontrollera allt som påstås stup i kvarten. Därför måste vi av rena effektivitetsskäl ofta lita på att de som gör saker vi inte förstår faktiskt vet vad de sysslar och är ärliga med vad de kommer fram till. Jag vet till exempel inte hur man beräknar turbulens, men jag sätter mig i flygplanet och somnar i hopp om att åtminstone ett personer längst där framme har tillräcklig koll. För vad skulle alternativet vara? Gå och korsförhöra piloterna inför varje flygning? Ringa ingenjörerna på Boeing? Det skulle ta evigheter att komma iväg om jag ens någonsin fick boka en biljett igen.

Men det finns också skäl att öppna lådan ibland för att se vad som försiggår där inne. Till exempel när du alltför ofta hört flera meningsmotståndare hänvisa till väldigt lika svarta lådor. Det står forskning på alla lådorna, men om de kommer fram till helt olika saker, är det då verkligen samma process inuti?

Svarat på den sista frågan är givetvis nej. Forskning är ett väldigt tänjbart begrepp. Vissa skulle hävda att forskning framför allt handlar om systematisk inhämtning av kunskap på ett någorlunda transparent sätt. Gränsdragning mot journalistik riskerar då att bli suddig. Samtidigt finns det tvivelsutan gott om saker som behöver undersökas noggrant och om det bara är journalistiska metoder som står till buds, till exempel intervjuer, kanske frågan måste vara hur vi på ett tillfredsställande sätt ska använda de metoderna*.

En annan betydligt striktare, för att inte säga dogmatisk hållning, förespråkas av Nobelpristagaren i fysik, Richard Feynman, som verkar vilja reducera vetenskap till beskrivning av naturlagar. Jag är tveksam om det är en särskilt hjälpsam hållning, men det illustrerar väl vidden av vad olika personer vill tränga in under forskningens paraply.

Jag tror att vi måste vänja oss vid att det är så här. Och att vi måste prata om forskningens innehåll istället för att bara läsa slutsatserna i sammanfattningen. För oavsett hur mycket man tycker det är lämpligt att tränga in under begreppet forskning kommer inget konsensus nås eftersom beskrivningen av verkligheten oftast är vad offentliga bråk handlar om.

Om vi tar skolan som exempel så går det tretton på dussinet av debattartiklar eller utspel i den här stilen:

Pedagogiken i skolorna har sällan något stöd i forskningen. Istället vilar undervisningsmetoderna på ideologisk grund. Därför är det hög tid att städa bort de pedagogiska myterna och blicka framåt, skriver Margareta Pålsson (M), ordförande i riksdagen utbildningsutskott. SvD Opinion 20150915

Att detta kommer från ett av högerpartierna som har röstat fram läroplanerna som har gällt de senaste 35 åren (Lgr 80, Lpo 94 och Lgr 11 av regeringen Fälldin, Bildt och Reinfeldt respektive) är i sig talande för hur mycket kampen handlar om att få sin verklighetsbeskrivning accepterad; snarare än att argumentera för att ens åsikter är bättre. Men Margareta Pålsson spelar också forskningskortet vilket nästan alla som debatterar skolan nu gör.

Hennes slutsatser om att mindre klasser är värdelösa tänker jag försöka kommentera i ett framtida inlägg. Min poäng är att vi måste vänja oss vid att debatten kommer se ut så här. Ena sidan hänvisar till en verklighet. Den andra till en annan. Det kommer i slutändan alltså handla om hur bra vi är på att skärskåda inte någons argument utan deras verklighetsbeskrivning. Och kan vi det?

Jag skulle säga både ja och nej. Det är inte rimligt att förstå allt och kunna göras allas jobb. Men däremot måste vi nog fundera på om om vi kan få en bättre förståelse för forskningens villkor. Jag skrev om studien med sommarjobbs effekt på ungdomsbrottslighet för att den använde en grundläggande metod för att hantera många av dem problem som forskningen ställs inför, nämligen randomisering för att veta att två grupper faktiskt är jämförbara.

En fråga om hur forskarna valt att hantera problem med olika gruppers icke-observerabara egenskaper kan alla lära sig att ställe. Till exempel när någon säger:

– Storleken på en skolklass spelar inte någon roll för hur mycket eleverna lär sig, det är forskning.

Fråga då hur forskarna har gjort. För om de har jämfört hur det går för barn i små klasser respektive i stora rakt av kan du vara ganska säker på att personen eller forskarna för den delen inte vet vad de pratar om. För tänk själv. Vilka personer sätter lärarna i mindre klasser om de har ett val? De svagare eleverna. Och om ekonomin är ansträngd, antingen för att kommunen budgeterat för lite pengar eller skolan är privatägd och ägarna vill ha vinst, vilka elever kan man då tryggt klumpa ihop 35 i vart klassrum för att spara in lärartjänster? De starkaste så klart. Om du då jämför elever som går i små klasser med elever som går i stora klasser och ser att de i stora klasser klarar sig bättre. Vad har du då visat? Att elever som är bra på att studera lär sig bättre än elever som är dålig på att studera.

Den inneboende förmåga eleven kommer med till skolan syns ju inte direkt utanpå vilket gör att skolklassernas storlek ofta kan bli en proxy/signal för lärarnas bedömning av elevens behov. Och då blir klasstorlek bara en synlig markör för den svårfångade personliga kapaciteten. För att klasstorlek (om vi nu förutsätter att mindre klasser är bättre för elevernas inlärning) ska visa sig vara bättre i jämförelser rakt av måste klasstorlek vara så mycket bättre att det kompenserar hela övertaget elever från studievana hem kommer med till skolan. Det är ganska mycket begärt. Och när mindre klasser inte klarar av att vara riktigt så bra blir resultatet att forskare bara jämfört svaga elever med starka elever. Resultatet av det är förutsägbart.

Ändå är det ofta så man jämför. Vetandets värld på Sveriges radio har gjort en hel reportageserie om skolforskning och OECD:s arbetsmetoder. PISA-undersökningen som ingen kan ha undgått att höra om vid det här laget är OECD:s verk och verkar lämna mycket övrigt att önska. I ett av programmen påpekas att Shanghai inte låtit många av de elever som kommer från mindre studievana hem gå i de skolor som inkluderas i studien. Förutsägbart nog går det då bra för Shanghais ungdomar. Och OECD framhåller det som en bevis på hur bra skolsystemet är…

Företaget McKinsey som har tagit fram två stora rapporter om skolstyrning och utbildning återkommer också i debatten som producenter av gedigen kunskap på området. Men de som granskar rapporterna hittar klyschiga rekommendationer presenterade som spännande ny forskning. Om de ens får ta del av undersökningarna. Företaget klarar nämligen inte av det mest banala forskningskriteriet – transparens. Att det ska gå att se och förstå vad som ligger bakom någons slutsatser. På ett universitet är brist på transparens oredlighet. I det privata näringslivet kallas det företagshemligheter. Så här skriver Vetandets värld om McKinsey och OECD:s relation.

Forskaren Frank Coffield vid Institute of Education vid University of London sågar rapporterna och visar att de är metodmässigt felaktiga, saknar bevis för sina teser, har ett auktoritärt språk och eftersom de är ovetenskapliga är de också farliga, enligt honom. OECD:s Pisa-chef Andreas Schleicher som har skrivit ett mycket positivt förord till den första rapporten medger nu att metodiken i rapporterna är svag men står fast vid att de har ett värde i att ha gett nya perspektiv på skoldebatten.

Sverker Lindblad, pedagogikprofessor i Göteborg säger att McKinsey-rapporterna haft ett mycket stort inflytande över debatten i Sverige och att det är synd att det sker på bekostnad av annan akademisk kunskap inom området. Hjärnforskaren Martin Ingvar som i flera sammanhang hänvisat till McKinseys arbete förklarar det med att akademin misslyckats med att leverera det som beslutsfattarna behöver. Vetandets värld 20150402

Frågan jag ställer mig när jag läser Martin Ingvars stöd för rapporten är: Fick han ta del av metoderna för att ta fram McKinseys slutsatser? Eftersom Sveriges radio inte fick det. För han svarar egentligen inte på varför McKinsey har rätt i sina slutsatser. Istället hänvisar han till vad beslutsfattare behöver och att McKinsey levererade det. Men vi får inte heller riktigt veta vad det är beslutsfattare behöver. Är det ett gediget faktaunderlag? Eller är det hemliga rapporter som kan användas för att vifta bort kritik, men inte får granskas? Det senare kan jag tänka mig att en del beslutsfattare efterfrågar i alla fall. I en värld där efterfrågan och behov ofta likställs illustrerar forskningen om skolan vikten av att öppna de svarta lådorna ibland och kontrollera att det verkligen är vad vi förväntar oss i dem.

I vilken utsträckning det går att göra är väl en öppen fråga. Men att det går att göra mycket mer än vi gör i dag borde ingen kunna tvivla på. För det är som Jeff Leek skriver på sin blogg att de flesta som analyserar data idag inte är statistiker. Vare sig vi tycker det är bra eller dåligt. Det har att göra med att både data och verktyg för analys blivit väldigt billigt. De flesta saker du kan göra med dyra program som SPSS, Stata eller SAS kan också gratisprogrammet R göra. Kurser i R och data-analys erbjuds nu också gratis på flera håll, till exempel av Jeff Leek och hans kollegor på John Hopkins. Kolla till exempel in utbudet av kurser här: EDX, Coursera .

För skeptikern tillhandahåller Jeff Leek med flera också metaforskning eller vad det ska kallas. På Coursera körs kurserna varje månad och de har vid det här laget utbildat miljoner människor i grundläggande statistik. Eftersom allt är elektroniskt finns det alltså tonvis med data på hur folk lär sig statistik. Leek och kollegor har då helt enkelt börjat forska på hur man på bästa sätt kan lära ut forskning (eller i alla fall en viktig del). I artikeln: ”A randomized trial in a massive online open course shows people don’t know what a statistically significant relationship looks like, but they can learn” tittar de på hur människor på deras kurser hanterade statistiska bedömningar utifrån punkt-diagram, något som förekommer i vart och vartannat sammanhang. Värt att läsa för den som är intresserad. Hela artikeln ligger ute här. De visar att vi ofta underskattar hur lite som krävs för att ett samband ska vara statistiskt signifikant. Studien använder randomisering, men i det här fallet är det värt att komma ihåg att även om de gav studenterna olika uppgifter och möjlighet till inlärning slumpmässigt var det såklart ett urval av personer som sökt sig till utbildningen från början. Dock är det kanske inte ett allt för vilt antagande att folk som vill förstå statistik är intresserade av att lära sig mer.

Jeff Leek skriver mycket om hur vi alla kan bli bättre på att bedöma forskning och statistik. Tydligen har han en bok på gång också som handlar om att vi alla, även forskare, är amatörer på det mesta och det därför inte finns någon större anledning att inte försöka förstå det som intresserar oss eller verkar märkligt. Han skriver om det här. Värt att läsa om inte annat för alla som retar ihjäl sig på att Annika Dahlström uttalar sig vitt och brett om könsskillnader och glatt frontade sin professorstitel – i histologi

Det här inlägget har redan blivit alldeles för långt och behöver avslutas på något sätt så för att bara ge eventuella föräldrar som tagit sig så här långt ner på sidan en liten bonus. Du kommer sova bättre om du kan lite statistik. Leek igen: Statistical illiteracy may lead to parents panicking about Autism. Antagligen blir det också lättare att strunta i merparten av all forskning som rör mat, se punkt sju i: 10 things statistics taught us about big data analysis

Om någon har vänner på Sveriges radio får ni gärna tipsa dem om ovanstående poänger också. Alla skulle nog tjäna på att slippa läsa den här ingressen:

”Det har betydelse vilket sjukhus förstföderskor väljer när det gäller risken att drabbas av allvarliga bristningar. I Skåne är det nämligen stora skillnader mellan sjukhusen, visar statistik Sveriges Radio tagit del av.” Sveriges radio P4:s program

Jag mejlade reportern och frågade hur de tagit fram statistiken. De begärde ut antal förstföderskor och antal skador hos desamma. Sedan dividerade de siffrorna för varje sjukhus. Någon borde kanske påpeka att deras utsaga har noll täckning om det är metoden de har använt. Det är också lite beklämmande att ingen av de inom vården som intervjuas verkar ha tagit in det. Eventuellt får det bli ett inlägg om det framöver. Förhoppningsvis ett lite kortare.

*Just inställningen till hur vetenskaps-lik den journalistiska metoden borde vara lär ha drivit två av Sveriges främsta grävande journalister isär. Janne Josefsson intervjuas efter Hannes Råstams död här och medger att han helst ville få publicerat saker medans Råstam var beredd att fortsätta gräva hur länge som helst.

 

Från XKCD, följ länk för fullständig källa.

Sommarjobb i offentlig sektor minskar våldsbrott med 43% – bevis från ett randomiserat experiment

VDM1214-006

I en tid när i princip alla partier är för längre straff – vissa för särskilda brott, andra för nästan allt  och några möjligtvis med lite vård som en del av fängelsevistelsen – är det värt att lyfta fram alternativen. För när högern inte förstår (vill?) bättre och vänstern inte vågar finns det inte många  kvar som verkar kunna föreställa sig ett bättre samhälle. Och det är synd. För ett bättre samhälle är inget som kräver särskilt stor fantasi (till skillnad från ett bästa samhälle). Det kräver kanske lite tråkig läsning eftersom bra idéer inte alltid kommer i bra förpackningar. Men likväl finns alternativ ofta redan tillgängliga.

Det är vad jag tänker när jag läser ”Summer jobs reduce violence among disadvantaged youth”. Artikeln är skriven av kriminolog Sara B. Heller och publicerades i Science, en av världens främsta vetenskapliga tidskrifter (för dig som undrar varför tidskriftsrankning kan vara av vikt och inte är bekant med ord som bibliometri eller impactfactor finns lite ingångar i länkarna).

Artikeln tar en fråga: hur minskar vi ungdomsbrottslighet? Och testar en någorlunda enkel lösning: ge dem sommarjobb i offentlig sektor. Och resultatet? En tydlig minskning i våldsbrott.

För vänner av sociala förklaringar till brott kan det tyckas självklart. Som duh!-forskning. Alla borde väl fatta det här redan? För de som tror att alla former av sociala förklaringar bara är ett blödigt försök att skydda brottslingar från ansvar borde det däremot vara en ögonöppnare. Vi pratar om en relativt kort insats – åtta veckors sommarjobb – som ligger väl inom räckhåll för det offentliga. Och det minskar sannolikheten för att bli arresterad för våldsbrott med 43 procent! De som hävdar att det offentliga inte kan skapa jobb eller har en roll att spela för att förhindra brottslighet kan ta och kamma sig.

Occupy4Prisoners: The Injustice System on Trial – 4/24/2012

Vad är det då som gör att den här artikeln över huvud taget publiceras? Och i en av de främsta tidskrifterna i världen? Svaret är randomiseringen. Att man tog 1634 ungdomar och lottade dem till tre grupper. En grupp fick erbjudande om sommarjobb, en annan samma sak men inklusive extra psykologisk träning och den tredje fick det som hade varit deras lott om experimentet aldrig hade blivit av – inget erbjudande om jobb (från försöket, de var fria att skaffa sig ett jobb på annat sätt om de ville det).

 

Och varför är detta så viktigt? Att syssla med lotteri inom forskning? Svaret är att det är det bästa sättet att faktiskt få klarhet i vad som orsakar något annat. Vi människor vill nästan alltid ta reda på orsaker. Ibland kan det leda oss fel, som när journalister skriver artiklar om  opinionsförändringar och försöker förklara händelser som förklaras bättre med slumpen. Vissa saker bara händer.

Men ofta är det högst rimligt att fråga sig varför något händer. För utan den kunskapen är det svårt att göra så mycket åt saken. Men för den som verkligen försöker ta reda på vad vi vet om orsaker inom komplexa system (och påfallande ofta inom enklare också) blir det ofta svårt att säga någonting alls om orsakerna:

– Patienten dog av att hans hjärta stannade.

– Men det stannade för att hans lunginflammation gjorde det svårt att få syre till blodet.

– Och lunginflammationen fick han för att han låg med respirator efter en operation.

– Som han genomgick för att han ramlade och bröt lårbenshalsen.

– På en matta som låg snett i en köpcentrum.

– Så vad dödade då mannen?*

Detta kan vara ganska knepigt att bena ut och många misstag har skett under årens lopp. Äldre kvinnor kan till exempel ha fått utskrivet östrogen efter klimakteriet eftersom det i studier hade visat sig att de kvinnor som fick det levde längre. Problemet var att de kvinnorna som fick det antagligen också var drivna och intresserade av sin hälsa. De var därför friskare än andra och när de då med sin drivkraft till hjälp efterfrågade en lösning på sina klimakterieproblem fick de det. Många lär ha drabbades av cancer mycket tidigare än de annars hade gjort. Men i statistiken syntes inte det eftersom de fortfarande var friskare än många andra – som alltså dog ännu tidigare. För en kort redogörelse se Ottawa universitets sammanfattning.

Samma problem står vi inför när samhällsproblem ska lösas. Om vi tittar på sannolikheten att begå brott mellan två grupper, de ungdomar som jobbar på sommaren och de som inte gör det är jag övertygad om att vi skulle se en stor skillnad.

Problemet är att vi då skulle jämföra ungdomar som utan hjälp får jobb med de som inte får det. Dessa lär skilja sig åt. Oavsett om man tror att den ena gruppen utnyttjar sitt rikare kontaktnät, sin inlärda förmåga till självkontroll eller bara har en bättre attityd spelar ingen roll. Det skulle vara två ganska olika grupper du jämförde och resultatet skulle inte gå att tolka som att ha sommarjobb minskar brottslighet utan som att olika grupper beter sig olika, ett föga spektakulärt resultat. De som fick sommarjobb på grund av bättre självkontroll kommer antagligen på grund av samma självkontroll inte slå någon på käften i korvkön. Och om det bredvid honom skulle stå någon som hade svårare att kontrollera sin ilska är det en person som med större sannolikhet inte heller kommer uppskattas på en arbetsplats där konflikter hela tiden riskerar att uppstå. På det sättet kan våldsbrott och brist på arbete hänga ihop statistiskt utan att ett orsakssamband föreligger. Det kan också hänga ihop på helt andra sätt. Problemet är att du inte kan veta det genom att bara jämföra grupper med och utan jobb.

Det stora med Sara B Hellers studie är att hon faktiskt kan visa att det är det där jobbet som It's a Lotteryspelar roll. Nyckeln är den slumpmässiga tilldelningen. För oavsett hur de 1634 ungdomarna skiljer sig åt blir deras egenskaper jämnt fördelade i grupperna. Detta kan delvis undersökas i efterhand (vilket görs och visar just likheten mellan grupperna). Därför är det enda som skiljer grupperna åt den behandling de fått. Skillnader i brottsfrekvens måste alltså då bero på den givna behandlingen, i detta fall ett sommarjobb under 8 veckor.**

Behandlingen innebar också att ungdomarna fick en jobbmentor som diskuterade deras situation och arbete regelbundet. Den grupp som också fick genomgå ett program för att lära sig att kontrollera sina känslor och tankar och arbeta med att sätta upp mål hade samma resultat. Det kan betyda två saker. Antingen fungerar inte det psykologiska tilläggsprogrammet. Eller fungerar det, men ungdomar lärde sig samma saker på arbetet vilket Sara B. Heller är inne på.

Intressant är också att den stora effekten inte ses under själva sommaren. Det hade annars varit en rimlig hypotes att brott minskar eftersom ungdomarna är på jobb och helt enkelt inte har tid över för att slåss. Men icke. Skillnaden i våldsbrott blev inte statistiskt signifikant förrän efter ungefär sex månader, det vill säga tre månader efter att sommarjobben hade avslutats. Skillnaden mellan grupperna fortsatt också att öka fram till studiens slut, 16 månader efter att den påbörjades. Vad ungdomarna fick med sig från sommarjobben hade de alltså nytta av åtminstone ett år senare.

Den kumulativa skillnaden i våldsbrott mellan grupperna. Från Science-artikeln: Summer jobs reduce violence among disadvantaged youth av Sara B. Heller Science 5 December 2014: Vol. 346 no. 6214 pp. 1219-1223 DOI: 10.1126/science.1257809

Den kumulativa skillnaden i våldsbrott mellan grupperna. Från Science-artikeln: Summer jobs reduce violence among disadvantaged youth av Sara B. Heller Science 5 December 2014: Vol. 346 no. 6214 pp. 1219-1223 DOI: 10.1126/science.1257809

 

Bilden visar den adderade skillnaden, månad för månad mellan grupperna. Anledningen att det står Intent -to-treat är att hon jämförde mellan grupperna som lottades fram. Bland de som erbjöds jobb tog inte alla det. Om hon bara hade använt de som anställdes i analysen hade hon förstört effekten av att först ha lottat ungdomarna till olika grupper. Det beror på att de 75 procent som faktiskt tog jobbet lär skilja sig från de resterande 25 procenten, och ännu viktigare, från de som lottades till kontrollgruppen. Gruppen där ingen fick erbjudande om jobb. Hade Sara B. Heller inte använt intention to treat hade hon jämfört två grupper med olika egenskaper, problemet hon försökte undvika genom själva lottningen.

Andra saker som är intressanta med studien är att annan form av brottslighet inte påverkades. Stöld, drogförseelser och annan brottslighet (hopklumpat i redovisningen) var lika mellan grupperna. Orsaken är troligtvis att just våldsbrott ofta är spontana handlingar som sker i affekt. Att genom arbete lära sig hantera konflikter på andra sätt minskar då risken för just sådana brott medan andra brott som kanske begås av andra skäl inte påverkas. En annan förklaring till att stöld inte skiljer sig åt mellan grupperna kan dock vara ett mätfel. Heller skriver i extramaterialet till artikeln att stöld sällan leder till att någon arresteras. Det är alltså troligt att hennes resultat är snedvridna på ett sätt som gör det svårare att upptäcka en faktisk skillnad mellan grupperna. Gruppen utan jobb kan ha stulit mer än de med jobb, men om bara enstaka arresteras kan skillnaderna mellan grupperna bli för små för att mäta.

Vad som är lovande med studiens resultat är också att den troligtvis underskattar effekterna av att få ett jobb. Dels för att bara 75 procent faktiskt tog jobbet vilket lär ha vattnat ur effekten lite. Och dels för att utfallet i studien, arresteringarna borde vara mindre än det verkliga antalet våldsbrott. Anledningen är att tydligen anmäls ungefär hälften av alla våldsbrott. Av dem är det sedan hälften som leder till att någon arresteras. Om vi inte tror att det finns en större benägenhet att bli arresterad i någon av grupperna betyder det att skillnaden vi ser mellan dem egentligen är fyra gånger så stor. Det skulle betyda att de 4 färre våldsbrott per 100 ungdomar som uppmättes egentligen är 16 färre per 100 ungdomar. Även Hellers diskussion om detta återfinns framför allt i extramaterialet.

Unequal Justice in America

Summa summarum är det alltså inte så dumt med de kommunala jobbprogrammen. Priset på våldsbrott lär vara ganska högt. Skador, skadestånd, rättegångar, rädsla och sekundära kostnader för extra säkerhet och risken för mer våld etc. Någon borde kanske ta och räkna på det. Fängelser är inte gratis och om vi kan välja mellan att lägga pengar på hårdare straff eller offentliga anställningar förefaller det senare betydligt trevligare för alla inblandade, de som annars är våldsamma, de som annars utsätts för våld och de som annars får arbeta med mindre bemanning.

Fullständig referens för artikeln är: Sara B. Heller, 2014, Summer jobs reduce violence among disadvantaged youth i Science 5 December 2014: Vol. 346 no. 6214 pp. 1219-1223 DOI: 10.1126/science.1257809

Science är tyvärr inte öppen utan du behöver gå via en universitetsserver för att få tillgång till artikeln om du inte vill betala för den.

* För en liknande övning i kausalitetens snåriga skog se till exempel Maciej Zarembas uppmärksammade reportage Vad var det som dödade Herr B?

**En fråga som kanske uppstår är: Om vi nu vet att randomisering slår det mesta, varför forskar vi inte alltid så? Och det enkla, men nedslående svaret är kostnader och krångel. Det är bökigt att studera tusentals människor och fixa och dona med lotter och och jobb-erbjudande. Jämför det med att bara gå till ett par register och kolla vilka som hade jobb och vilka som arresterades för brott. Till följd av detta görs det massor med studier av det senare slaget. Ibland är de tillräckligt bra och ibland – som med långvarig hormonbehandlingen för klimakteriebesvär – katastrofala.