Kolumnist på Public News

15 Nov, 2012 at 11:11 | Posted in Varia | Comments Off on Kolumnist på Public News

Yours truly kan numera titulera sig kolumnist, efter att ha inlett samarbete med Public News.

Now England knows who Zlatan Ibrahimovic is

14 Nov, 2012 at 23:37 | Posted in Varia | 2 Comments

 

Europe’s real austerity problem

14 Nov, 2012 at 15:34 | Posted in Economics | 1 Comment

Höjer friskolorna verkligen elevernas kunskapsnivå?

14 Nov, 2012 at 14:38 | Posted in Education & School | 5 Comments

När vi i Sverige 1992 genomförde en friskolereform fick familjer därigenom över lag större möjlighet att själva välja var man ville sätta sina barn i skola. I linje med det av Milton Friedman redan på 1950-talet förespråkade införandet av skolpeng (voucher) underlättades etablerandet av friskolor väsentligt.

Friskolorna har som följd av denna friskolereform – inte minst på senare år – ökat sin andel av skolmarknaden markant. Idag utbildas mer än 10 % av landets grundskoleelever vid en friskola och nästan 25 % av gymnasieeleverna får sin utbildning vid friskolor.

Friskoleexpansionen har dock rent geografiskt sett väldigt olika ut. Idag saknar lite mer än en tredjedel av kommunerna friskolor på grundskolenivå och två tredjedelar av kommunerna saknar friskolor på gymnasienivå. Och i genomsnitt har elever vid friskolor föräldrar med högre utbildningsnivå och inkomster än eleverna vid kommunala skolor.

Mot bland annat denna bakgrund har det bland forskare, utbildningsanordnare, politiker m.fl. blivit intressant att försöka undersöka vilka konsekvenser friskolereformen haft.

Nu är det självklart inte helt lätt att göra en sådan bedömning med tanke på hur mångfacetterade och vittomfattande de mål är som satts upp för skolverksamheten i Sverige.

Ett vanligt mål som man fokuserat på är elevernas prestationer i form av uppnående av olika kunskapsnivåer. När man genomförde friskolereformen var ett av de ofta framförda argumenten att friskolorna skulle höja elevernas kunskapsnivåer, både i friskolorna (”den direkta effekten”) och – via konkurrenstrycket – i de kommunala skolorna (”den indirekta effekten”). De kvantitativa mått man använt för att göra dessa värderingar är genomgående betyg och/eller resultat på nationella prov.

Vid en första anblick kan det kanske förefalla trivialt att göra sådana undersökningar. Det är väl bara att – kan det tyckas – plocka fram data och genomföra nödiga statistiska tester och regressioner. Riktigt så enkelt är det nu inte. I själva verket är det väldigt svårt att få fram entydiga kausala svar på den här typen av frågor.

Ska man entydigt kunna visa att det föreligger effekter och att dessa är ett resultat av just friskolornas införande – och inget annat – måste man identifiera och därefter kontrollera för påverkan från alla ”störande bakgrundsvariabler” av typen föräldrars utbildning, socioekonomisk status, etnicitet, geografisk hemhörighet, religion m.m. – så att vi kan vara säkra på att det inte är skillnader i dessa variabler som är de i fundamental mening verkliga kausalt bakomliggande förklaringarna till eventuella genomsnittliga effektskillnader.
 

Det ideala experimentet
Idealt sett skulle vi, för att verkligen vinnlägga oss om att kunna göra en sådan kausalanalys, vilja genomföra ett experiment där vi plockar ut en grupp elever och låter dem gå i friskolor och efter en viss tid utvärderar effekterna på deras kunskapsnivåer. Sedan skulle vi vrida tillbaka klockan och låta samma grupp av elever istället gå i kommunala skolor och efter en viss tid utvärdera effekterna på deras kunskapsnivåer. Genom att på detta experimentvis kunna isolera och manipulera undersökningsvariablerna så att vi verkligen kan säkerställa den unika effekten av friskolor – och inget annat – skulle vi kunna få ett exakt svar på vår fråga.

Eftersom tidens pil bara går i en riktning inser var och en att detta experiment aldrig går att genomföra i verkligheten.
 

Randomiserade studier
Det nästbästa alternativet skulle istället vara att slumpmässigt dela in elever i grupper: en med elever som får gå i friskolor (”treatment”) och en med elever som får gå i kommunala skolor (”control”). Genom randomiseringen förutsätts bakgrundsvariablerna i genomsnitt vara identiskt likafördelade i de båda grupperna (så att eleverna i de båda grupperna i genomsnitt inte skiljer sig åt i vare sig observerbara eller icke-observerbara hänseenden) och därigenom möjliggöra en kausalanalys där eventuella genomsnittliga skillnader mellan grupperna kan återföras på (”förklaras av”) om man gått i friskola eller i kommunal skola.

Bland de forskare som förspråkar randomiserade studier (”randomized controlled trials”) – RCT – framhålls ofta att införandet av en ny policy/åtgärdsprogram – betygssystem, skolpeng m.m. – ska vara väglett av bästa möjliga evidens och att RCT tillhandahåller just detta. En ideal RCT bevisar att detta åtgärdsprogram kausalt bidrog till ett visst utfall, i en viss grupp, i en viss population. Om villkoren för en ideal RCT är uppfyllda följer med deduktiv nödvändighet att åtgärdsprogrammet kausalt medverkade till utfallet hos åtminstone några av enheterna i studien. Själva undersökningens design borgar för att undersökningsresultaten är tillförlitliga utan att man behöver explicitgöra kausala bakgrunds- och stödfaktorer. Randomiseringen garanterar att dessa bakgrunds-och stödfaktorer är ”lika-fördelade” för både ”behandlingsgruppen” och ”kontrollgruppen”, vilket gör att man inte behöver känna till vilka dessa kausala bakgrunds- och stödfaktorer är. Man behöver inte ens känna till om de över huvud existerar.

Till grund för RCT ligger att man (givet ett antal förenklande antaganden som vi inte ska problematisera här) kan beskriva den underliggande kausala principen för implementering av policy/åtgärdsprogram av olika slag på följande vis:

Yi <= Ai + A2Y0i + A3BiXi + A4Zi,

där <= betecknar en kausal orsaksverkan från högerledskvantiteterna på vänsterledskvantiteten, Yi är utfallet, Xi är policyvariabeln, Ai är konstanter som anger hur stor den effekt de efterföljande variablerna har på Yi är, Yoi är utfallsvariabelns ”basnivå” för i, Bi är alla de olika faktorer som bidrar till att Xi kausalt ger upphov till en effekt på Yi, Zi representerar alla andra faktorer som utöver Xi additivt bidrar till att påverka Yi.

Här föreligger som bekant många olika källor till felbedömningar när vi utifrån denna kausalmodell ska implementera en policy. Tron att man kan påverka Xi för att ändra utfallet Yi kan slå fel genom att implementeringen påverkar den föregivet stabila underliggande kausala strukturen (här främst representerade av Bi och Zi). Xi interagerar med andra variabler på ett sätt som kan innebära att policyimplementeringen de facto ger upphov till en ny struktur där de tidigare föreliggande relationerna helt enkelt inte längre (oförändrat) är för handen.

I normalfallet är de ansvariga för policyförändringar i första hand intresserade av vad förändringen i genomsnitt bidrar med i utfallet i den studerade populationen. Förutsättningarna för att kunna göra en sådan bedömning avhänger på ett kritiskt sätt möjligheterna av att på något vis hantera (kontrollera för) interaktionen mellan policyvariabeln och de kausala bakgrunds- och stödfaktorerna.

RCT löser (idealt) detta, som vi sett, genom att via randomisering dela in populationen i en behandlingsgrupp och en kontrollgrupp och därigenom mer eller mindre garantera att fördelningen av Yo, Bi och Zi är desamma i dessa båda grupper. Om det efter en (ideal) implementering av den nya policyn föreligger en skillnad i Yi mellan de två grupperna, måste det föreligga en genuin kausal orsak-verkan-relation hos åtminstone någon eller några av de individer som ingår i populationen. Poängen är här alltså att även om vi inte vet vad som ingår i Bi och Zi, så kan vi ändå uttala oss om policy-variabelns inverkan på utfallet i kausala termer.

Låt oss anta att vi har lyckats genomföra en ideal RCT och alltså kan vara säkra på att den enda kausala verkan som föreligger är begränsad till att vara den mellan policyvariabeln X och dess inverkan på utfallsvariabeln Y. Vad vi då har lyckats etablera är att i en specifik undersökt situation, i en viss population, så är den genomsnittliga behandlingseffekten lika med differensen mellan utfallen för behandlings- respektive kontrollgruppen (detta innebär att en behandling kan innebära att många får det mycket ”sämre” och att några få får det ”bättre”, men att det i genomsnitt blir ”bättre”). ”Behandlingseffekten” W kan då skrivas som

W = A3E[Bi](XT – XK),

där E[] är en förväntningsvärdesoperator (genomsnitt) och XT och XK är värdet på behandlingsvariabeln i behandlings-respektive kontrollgruppen.

För vem är detta relevant? Om vi implementerar X här för oss – kan vi verkligen vara säkra på att vi får samma genomsnittliga effekt? Nej. Eftersom E[Bi] är ett genomsnitt över alla de olika faktorer som bidrar till att Xi kausalt ger upphov till en effekt på Yi, måste vi nämligen också veta hur dessa faktorer är fördelade i den nya populationen. Det föreligger inga som helst a priori skäl att anta att fördelningen av den typen av bakgrunds- och stödfaktorer skulle se likadan ut här hos oss som där för dem i den ursprungliga RCT-populationen.

Detta innebär att man kan ifrågasätta om RCT är evidentiellt relevanta när vi exporterar resultaten från ”experimentsituationen” till en ny målpopulation. Med andra konstellationer av bakgrunds- och stödfaktorer säger oss den genomsnittliga effekten av en behandlingsvariabel i en RCT troligen inte mycket, och kan därför inte heller i någon större utsträckning vägleda oss i frågan om vi ska genomföra en  y policy/åtgärdsprogram eller ej.

RCT borgar helt enkelt inte för att en föreslagen policy är generellt tillämpar. Inte ens om man kan anföra goda skäl för att betrakta policyvariabeln som strukturellt stabil, eftersom stabilitetskravet främst måste gälla BiXi och inte Xi.

Förespråkare för RCT brukar åberopa ett antagande om att målpopulationen måste vara ”lik” den ursprungliga RCT-populationen för att berättiga ”exportlicensen”. Men ett sådant åberopande för oss inte speciellt långt eftersom det sällan specificeras i vilka dimensioner och i vilken utsträckning ”likheten” ska föreligga.

Så även om man lyckats genomföra en ideal RCT, så innebär detta dock inte att man därigenom har några som helst skäl att tro att undersökningsresultaten är externt valida i meningen att de förbehållslöst utgör en broslagning från att det fungerade i population A till att det också kommer att fungera i population B.

När man genomför en RCT ”laddar” man så att säga tärningarna. Men om man ska implementera ett åtgärdsprogram i en annan population än den i vilken RCT genomfördes (kastar andra tärningar) hjälper detta oss föga. Vi måste fråga oss hur och varför fungerar policyn/åtgärdsprogrammet. Att det fungerar i en kontext garanterar inte att det fungerar i en annan kontext, och då kan frågor om hur och varför hjälpa oss en bra bit på vägen att förstå varför ett åtgärdsprogram som fungerar i population A inte fungerar i population B. Inte minst när det gäller sociala och ekonomiska åtgärdsprogram spelar kausala bakgrunds- och stödfaktorer ofta en avgörande roll. Utan kunskap om dessa är det hart när omöjligt att förstå varför och hur ett åtgärdsprogram fungerar – och därför för oss RCT realiter inte så långt som dess förespråkar vill ge sken av.

Att i slutna system eller kliniska experiment anta att man befinner sig i nästintill ideala försöksvillkor låter sig kanske göras, men att i öppna system eller sociala sammanhang tro sig ha nästintill full kontroll över alla kausala alla bakgrunds- och stödvariabler är oftast just inget annat än en tro. När det då visar sig inte fungera, har vi ingen vägledning av RCT.

Det är som när diskmaskinen slutat fungera hemma i köket. I normalfallet fungerar den problemfritt. Och vi vet att miljontals andra har diskmaskiner som också fungerar. Men när de inte fungerar får vi kalla på en reparatör eller själva undersöka maskinen och se om vi kan hitta felet. Vi försöker lokalisera var i maskineriet det har hängt upp sig, vilka mekanismer som fallerar o s v. Kanske glömde vi bara slå på strömmen. Eller kanske motorn havererat på grund av dålig ventilation och underhåll. I vilket fall som helst hjälper det oss föga att veta att maskinen under ideala förhållanden fungerar. Här måste vi börja tänka själva och inte bara förlita oss på att maskinen brukar fungera när den lämnar produktionsbandet (som ju är konstruerat just för att maskinerna ska fungera). Att tillverkaren gör stickprov för att säkerställa statistiskt acceptabla felmarginaler hjälper inte mig när min maskin ”lagt av”.

När åtgärdsprogrammet inte visar sig fungera på det sätt RCT gett oss skäl tro, har förespråkarna inget mer att komma med än att kanske föreslå ännu fler RCT. Då är det nog mer framkomligt att tänka själv och fundera över vad som gått fel och inte förlita sig på att fler ideala randomiseringar på något magiskt sätt ska lösa problemet. För det gör de inte. Hur många gånger du än släpper kritan framme vid tavlan så faller den aldrig i golvet om det står ett bord i vägen. Då är det bättre att tänka själv kring varför och hur. Då kan vi flytta bordet och visa att gravitationskraften de facto får kritan att falla till golvet.

RCT kan aldrig utgöra annat än en möjlig startpunkt för att göra relevanta bedömningar av om policy/åtgärdsprogram som fungerat där för dem är effektiva här för oss. RCT är inget trumfkort. Det utgör ingen ”gold standard” för att besvara kausala policy-frågor.

För att kunna ge goda argument för att vad som fungerar där för dem också ska fungera här för oss måste vi ha empiriska evidens och kunskaper om kausala variabler som bidrar till att generera det eftersökta utfallet. I annat fall kan vi inte på ett adekvat sätt bedöma om resultaten i RCT där för dem är relevanta här för oss

Så – denna typ av undersökningar är visserligen möjliga att genomföra, men de är i praktiken svåra att få till stånd och dessutom ofta kostsamma. I praktiken får man ofta nöja sig med att genomföra experiment där elever i en grupp ”matchas” mot elever i en annan grupp – på så sätt att varje individ i den första gruppen motsvaras av en individ i den andra gruppen, som är så ”identiskt lik” som möjligt den förra med avseende på alla kända bakgrundsvariabler, så att eventuella effektskillnader i så hög grad som möjligt kan återföras på variabeln friskola/kommunal skola.

Till detta kommer att även där det är möjligt att genomföra dessa typer av randomiserings- och matchningsexperiment är värdet av dem problematiskt eftersom undersökningspopulation genomgående är relativt små och den artificiella inramningen gör att möjligheterna att ”exportera” resultaten (”extern validitet”) till andra populationer än den undersökta ofta är förhållandevis små. Därtill kommer – när det mer specifikt handlar om utbildning – att utbildning är en mångdimensionell och heterogen verksamhet som är svår att mäta och värdera med enkla operationaliserbara kriterier och mätinstrument, vilket ytterligare försvårar möjligheterna att på säkra grunder hävda att man har på fötterna för att exportera forskningsresultat från en kontext till en annan (som exempelvis Cartwright & Hardie (2012), som understryker denna problematik med några väl valda exempel från just utbildningsområdet). De svårfångade kvalitetsaspekterna på denna typ av verksamhet gör också att det hela tiden föreligger incitament för aktörer att ta vägen om kvalitetsförsämringar och allehanda former av manipulationer på vissa områden för att eventuellt satsa tid och resurser för nå mål på andra mer lättmätta områden.
 

Regressionsanalys
Det i särklass vanligaste undersökningsförfarandet är – bl.a. mot ovan angivna bakgrund – att man genomför en traditionell multipel regressionsanalys baserad på så kallade minstakvadrat (OLS) eller maximum likelihood (ML) skattningar av observationsdata, där man försöker ”konstanthålla” ett antal specificerade bakgrundsvariabler för att om möjligt kunna tolka regressionskoefficienterna i kausala termer. Vi vet att det föreligger risk för ett ”selektionsproblem” eftersom de elever som går på friskolor ofta skiljer sig från de som går på kommunala skolor vad avser flera viktiga bakgrundsvariabler, kan vi inte bara rakt av jämföra de två skolformerna kunskapsnivåer för att därur dra några säkra kausala slutsatser. Risken är överhängande att de eventuella skillnader vi finner och tror kan förklaras av skolformen, i själva verket helt eller delvis beror på skillnader i de bakomliggande variablerna (t.ex. bostadsområde, etnicitet, föräldrars utbildning, m.m.)

Ska man försöka sig på att sammanfatta de regressionsanalyser som genomförts är resultatet att de kausala effekter på elevers prestationer man tyckt sig kunna identifiera av friskolor genomgående är små (och ofta inte ens statistiskt signifikanta på gängse signifikansnivåer). Till detta kommer också att osäkerhet råder om man verkligen kunnat konstanthålla alla relevanta bakgrundsvariabler och att därför de skattningar som gjorts ofta i praktiken är behäftade med otestade antaganden och en icke-försumbar osäkerhet och ”bias” som gör det svårt att ge en någorlunda entydig värdering av forskningsresultatens vikt och relevans. [Ett intressant exempel – det handlar om hur olika skolor definierar “specialundervisningsbehov”  – på vad problemen kring vad man (tror att man) “konstanthåller” kan leda till i termer av “bias” ges i Wolf et al. (2012) .] Enkelt uttryckt skulle man kunna säga att många – kanske de flesta – av de effektstudier av detta slag som genomförts, inte lyckats skapa tillräckligt jämföra grupper, och att – eftersom detta strikt sett är absolut nödvändigt för att de statistiska analyser man de facto genomför ska kunna tolkas på det sätt man gör – värdet av analyserna därför är svårt att fastställa. Det innebär också – och här ska man även väga in möjligheten av att det kan föreligga bättre alternativa modellspecifikationer (speciellt vad gäller ”gruppkonstruktionerna” i de använda urvalen) – att de ”känslighetsanalyser” forskare på området regelmässigt genomför, inte heller ger någon säker vägledning om hur pass ”robusta” de gjorda regressionsskattningarna egentligen är. Vidare är det stor risk för att de latenta, bakomliggande, ej specificerade variabler som representerar karakteristika som ej är uppmätta (intelligens, attityd, motivation m.m.) är korrelerade med de oberoende variabler som ingår i regressionsekvationerna och därigenom leder till ett problem med endogenitet.
 

Regressionsanalys – exemplet friskolor
För några veckor sedan presenterade Anders Böhlmark och Mikael Lindahl (Böhlmark & Lindahl (2012)) en uppmärksammad forskningsrapport – Har den växande friskolesektorn varit bra för elevernas utbildningsresultat på kort och lång sikt? – där man med utgångspunkt i främst multipla regressionsanalyser av det ovan angivna slaget, menar sig bl.a. kunna visa att friskolereformen inneburit – först och främst beroende på ”spridnings- och konkurrenseffekter” – att genomsnittsresultateten över tiden för alla elever – alltså inte bara för de som går i friskolor – har ökat mest i de kommuner där andelen elever som går i friskolor har ökat mycket i förhållande till kommuner där andelen elever som går i friskolor har ökat mindre eller kanske inte alls.

Kort sagt – ökningen av andelen friskole-elever i en kommun ger i genomsnitt positiva effekter på elevernas utbildnings-resultat. Av resultaten fram-kommer dock att effekten för den enskilde individen av att gå i en friskola, istället för i en kommunal skola, bara står för en liten del den totala effekten. Lejonparten bedöms vara en positiv externalitetseffekt i form av en ökad konkurrens som gynnar alla elever. Regressionsanalysen möjliggör dock inte ett uteslutande av att det också kan föreligga en segregations- och sorteringseffekt i form av att friskolereformen gjort elevgrupperna på de olika skolorna mer ”homogena” och detta på olika sätt kan ha påverkat elevprestationerna i positiv riktning. [Även om de “direkta” effekterna bara står för en femtedel av de totala effekterna kan detta vara djupt problematiskt: om dessa s.k. kamratgruppseffekter (”peer groups effects”) är baserade på en föregående segregationsprocess skulle många mena att detta av sociala, etiska och andra skäl är oacceptabelt. Det innebär också att utfallen inte säkert är oberoende och att en förändring i sammansättningen av elevgrupperna mycket väl kan ändra på de olika skolformernas effektivitet.]

Resultaten har både av forskarna själva och av andra tolkats som belägg för att friskolereformen och den ökade konkurrensen är bra för det svenska skolsystemet i sin helhet. Tidigare svensk forskning – exempelvis Ahlin (2003), Björklund m fl (2005), Sandström & Bergström (2005) och Böhlmark & Lindahl (2008) – har visat på liknande resultat.

Böhlmarks och Lindahls nya forskningsresultat presenterades i Svenska Dagbladet simpliciter som att ”ju högre andel friskolor, desto större förbättringar av resultaten” och att det ur forskningsresultaten ”framgår tydligt att ju högre andel friskolor en kommun har, desto bättre presterar eleverna.” Här låter det som att forskarna tagit fram forskningsresultat lika entydiga som att 2 + 2 = 4. Så är ju, som jag försökt antyda i resonemanget ovan, långt ifrån fallet. Även om Böhlmark och Lindahl gör ett ekonometriskt hantverk som varken är bättre eller sämre än vad andra forskare presterar på området, är det grovt missvisande att presentera forskningsresultatet på det okvalificerade och onyanserade sätt som här – och på flera andra ställen i mediavärlden – skett. Därtill kan man möjligen också lägga att det borde vara av yttersta vikt för seriösa forskare att också vid kontakter med massmedier vinnlägga sig om att åtminstone några av de viktigaste osäkerheter som råder kring forskningsresultaten – vare sig de nu baserar sig på randomiserade kliniska tester eller statistisk-ekonometriska regressionsskattningar av observationsdata – understryks och lyfts fram för att undvika uppenbara ”övertolkningar” av undersökningsresultaten.

Två framstående amerikanska forskare som under flera decennier forskat om friskolor – Lisa Barrow och Cecilia Elena Rouse – skriver i en utvärdering (Barrow & Rouse (2008)) av vad den amerikanska forskningen visar på området – ”School vouchers: Recent findings and unanswered questions” – att det inte är uppenbart att ”friskoleforskarna” med sina undersökningsmetoder på ett adekvat sätt har kunnat väga in eller neutralisera betydelsen av skillnader som faktiskt föreligger mellan elever i friskolor respektive kommunala skolor. Ja, man går t.o.m. så långt att man menar att de flesta fall av de små effekter som man i forskningen funnit ”inte är statistiskt signifikant skilda från noll och därför i själva verket kan vara ett rent slumpmässigt resultat.”

USA:s kanske främste utvärderare på området – Patrick Wolf – konkluderar på liknande sätt i en amerikansk utvärdering av friskolor (Wolf (2010)) att ”effekterna varit små och osäkra.”
 

Slutsatser
Sammantaget verkar den enda rimliga slutsatsen vara att forskningen inte generellt kunnat belägga att införandet av friskolor lett till några större effektivitetsvinster eller påtagligt ökade kunskapsnivåer hos eleverna i stort. De uppmätta effekterna är små och beror till stor del på hur de använda modellerna specificeras och hur de ingående variablerna mäts och vilka av dem som ”konstanthålls”. Det går således inte heller att säkerställa att de effekter man tyckt sig kunna detektera vad gäller resultatförbättringar i friskolor skulle bero på friskolorna som sådana. Metodologiskt har det visat sig vara svårt att konstruera robusta och bra kvalitetsmått och mätinstrument som möjliggör en adekvat hantering av alla de olika faktorer – observerbara och icke-observerbara – som påverkar konkurrensen mellan skolformerna och ger upphov till eventuella skillnader i elevprestationer mellan skolformerna. Följden blir att de små effekter man (i vissa undersökningar) kunnat konstatera föreligga sällan är behäftade med någon högre grad av evidentiell ”warrant”. Mycket av forskningsresultaten baseras på både otestade och i grunden otestbara modellantaganden (t.ex. vad avser linearitet, homogenitet, additivitet, icke-förekomst av interaktionsrelationer, oberoende, bakgrundskontextuell neutralitet m.m. – för en belysande analys av vilka följder detta kan få, se t.ex. Freedman (2012, kapitel 7)). Resultaten är genomgående av en tentativ karaktär och de slutsatser forskare, politiker och opinionsbildare kan dra av dem bör därför återspeglas i en ”degree of belief” som står i paritet med denna deras epistemologiska status.

Och – även om det skulle vara så att en del av de anförda undersökningarna skulle uppfattas ge metodologiskt-statistiskt säkerställda substantiella positiva effekter i form av att elever i friskolor i genomsnitt skulle prestera bättre än elever i kommunala skolor – gäller såvitt jag kan se fortfarande en varning från den uppmärksammade kunskapsöversikt som SNS lät göra 2011 (Hartman (red.) 2011) – Konkurrensens konsekvenser – där Jonas Vlachos i kapitlet Friskolor i förändring skriver:

Dessa skillnader behöver emellertid inte betyda att utbildningen vid friskolorna håller högre kvalitet. För det första kan de som väljer friskolor skilja sig på andra sätt än de som går att ta hänsyn till i en empirisk analys av detta slaget. Det är därför möjligt att dessa elever skulle presterat bättre än genomsnittseleven även om de gått på en kommunal skola. För det andra är kunskapsmåtten som används inte helt objektiva. Skolverket har konstaterat bristande likvärdighet i betygsättningen mellan olika skolor och inte heller resultaten på de nationella proven är immuna mot denna kritik.

Sammantaget verkar alltså beläggen för att den konkurrens som friskolereformen ledde till skulle bidragit till att höja kvaliteten i skolan vara begränsade, i varje fall om man med kvalitet menar vad eleverna lär sig. Detta förefaller också vara i linje med vad stora delar av den internationella forskningslitteraturen finner. Till detta kan man väl också foga att de undersökningar som gjorts bara kan uttala sig om vad som gäller i genomsnitt. Bakom ett högt genomsnitt kan – som tidigare konstaterat – dölja sig flera svagpresterande enskilda skolor som vägs upp av några få högpresterande.

Tillägg 15/11: Anne-Marie Lindgren har en intressant kommentar till IFAU-rapporten här.
 
 

Referenser
Ahlin, Å. (2003). ”Does school competition matter? Effects of a Large scale School Choice Reform on Student Performance.” Working paper 2003:2, Department of Economics, Uppsala University.

Barrow, L. & Rouse, C. E. (2008). ”School vouchers: Recent findings and unanswered questions.” Economic Perspectives No. 3.

Björklund, A. et al. (2005). ”The market comes to education in Sweden: An evaluation of Sweden’s surprising school reforms.” Russel Sage Foundation, New York.

Böhlmark, A. & Lindahl, M. (2008). ”Does School Privatization Improve Educational Achievement? Evidence from Sweden’s Voucher Reform.” IZA Discussion Paper No. 3691.

Böhlmark, A. & Lindahl, M. (2012). ”Har den växande friskolesektorn varit bra för elevernas utbildningsresultat på kort och lång sikt?” IFAU Rapport 2012:17.

Cartwright, N. & Hardie, J. (2012). Evidence-based policy: a practical guide to doing it better. Oxford University Press.

Freedman, D. (2009). Statistical Models. Cambridge University Press.

Hartman, L. (red.) (2011). Konkurrensens konsekvenser. Vad händer med svensk välfärd? SNS Förlag.

Sandström, M. & Bergström, F. (2005). ”School Vouchers in Practice: Competition Will Not Hurt You.” Journal of Public Economics 89.

Wolf, P. et al. (2010). “Evaluation of the DC Opportunity Scholarship Program: Final Report.” NCEE 2010-4018, U.S. Department of Education.

Wolf, P. et al. (2012). “When Rights, Incentives, and Institutions All Clash: The Case of School Vouchers and Special Education in Milwaukee.” Paper presented at the 2012 Annual Meeting of the American Political Science Association.

Europe’s youth generation – crushed by the euro austerity folly

10 Nov, 2012 at 13:32 | Posted in Economics, Politics & Society | 4 Comments

Source

John Maynard Keynes – a BBC documentary

10 Nov, 2012 at 12:48 | Posted in Economics | 5 Comments


On the whole a good popular take on Keynes, although it unfortunately – as do most textbooks in economics – mixes up Keynes’s own ideas with the different kinds of neoclassical bastard Keynesianism that developed after World War II.

Manias, Panics, and Crashes

10 Nov, 2012 at 12:27 | Posted in Economics | Comments Off on Manias, Panics, and Crashes

För er som tröttnat på tidningars och televisionens ytligheter kring finanskrisen föreslår jag läsning av Charles Kindlebergers klassiska  skildring av de finansiella krisernas historia – Manias, Panics, and Crashes.  Utifrån ett digert empiriskt material visar boken övertygande att finansiella kriser utgör en ofrånkomlig del av vårt ekonomiska system och en följd av de djupareliggande instabiliteter som kännetecknar själva det finansiella systemet.

[Och för er som föredrar att läsa på svenska finns boken också i översättning – Manier, panik och krascher (Pontes Förlag, 1999) – i vilken yours truly har skrivit en utförlig inledning där Kindlebergers framställning mer explicit kopplas till teoretiska landvinningar hos Keynes, Fisher och Minsky.]

Nationalekonomins verkliga ansikte

10 Nov, 2012 at 09:33 | Posted in Economics | 17 Comments

Yours truly lyssnade häromdagen på ett radioprogram om huruvida nationalekonomin verkligen är en vetenskap. Kritik framfördes av professorn i humanekologi Alf Hornborg och för att “försvara” nationalekonomin hade man bjudit in professor Olof Johansson-Stenman från Göteborg. Så mycket till debatt blev det nu inte eftersom ju Olof är en av de mest vidsynta och tvärvetenskapligt orienterade ekonomiprofessorerna landet har att uppvisa. Vi hade så vitt jag kan bedöma – efter 35 års umgänge med svenska nationalekonomer – fått en mer rättvis bild av vad det svenska nationalekonomietablissemanget står för om man istället låtit den här mannen deltaga i debatten:

Uncertainty and the “data-generating process” in macroeconomics

9 Nov, 2012 at 18:09 | Posted in Economics | 3 Comments

The financial crisis of 2007-08 hit most laymen and economists with surprise. What was it that went wrong with our macroeconomic models, since they obviously did not foresee the collapse or even make it conceivable?

There are many who have ventured to answer this question. And they have come up with a variety of answers, ranging from the exaggerated mathematization of economics, to irrational and corrupt politicians.

But the root of our problem goes much deeper. It ultimately goes back to how we look upon the data we are handling. In “modern” macroeconomics – dynamic stochastic general equilibrium, new synthesis, new-classical and new-Keynesian – variables are treated as if drawn from a known “data-generating process” that unfolds over time and on which we therefore have access to heaps of historical time-series. If we do not assume that we know the “data-generating process” – if we do not have the “true” model – the whole edifice collapses. And of course it has to. I mean, who really honestly believes that we should have access to this mythical Holy Grail, the data-generating process?

“Modern” macroeconomics obviously did not anticipate the enormity of the problems that unregulated “efficient” financial markets created. Why? Because it builds on the myth of us knowing the “data-generating process” and that we can describe the variables of our evolving economies as drawn from an urn containing stochastic probability functions with known means and variances.

This is like saying that you are going on a holiday-trip and that you know that the chance the weather being sunny is at least 30%, and that this is enough for you to decide on bringing along your sunglasses or not. You are supposed to be able to calculate the expected utility based on the given probability of sunny weather and make a simple decision of either-or. Uncertainty is reduced to risk.

But as Keynes convincingly argued in his monumental Treatise on Probability (1921), this is not always possible. Often we simply do not know. According to one model the chance of sunny weather is perhaps somewhere around 10% and according to another – equally good – model the chance is perhaps somewhere around 40%. We cannot put exact numbers on these assessments. We cannot calculate means and variances. There are no given probability distributions that we can appeal to.

In the end this is what it all boils down to. We all know that many activities, relations, processes and events are of the Keynesian uncertainty-type. The data do not unequivocally single out one decision as the only “rational” one. Neither the economist, nor the deciding individual, can fully pre-specify how people will decide when facing uncertainties and ambiguities that are ontological facts of the way the world works.

Some macroeconomists, however, still want to be able to use their hammer. So they decide to pretend that the world looks like a nail, and pretend that uncertainty can be reduced to risk. So they construct their mathematical models on that assumption. The result: financial crises and economic havoc.

How much better – how much bigger chance that we do not lull us into the comforting thought that we know everything and that everything is measurable and we have everything under control – if instead we could just admit that we often simply do not know, and that we have to live with that uncertainty as well as it goes.

Fooling people into believing that one can cope with an unknown economic future in a way similar to playing at the roulette wheels, is a sure recipe for only one thing – economic catastrophy!

Vinstintressen i skolan är ett hot mot demokratin

9 Nov, 2012 at 10:15 | Posted in Education & School | 4 Comments

Grundskolan, den obligatoriska skolan, är den ideologiska kärnan i vårt demokratiska samhälle. Skolans ”demokratiuppdrag”, finns formulerat i skollag och läroplaner. Det har sitt ursprung i Tage Erlanders skolkommission, men utvecklades under efterkrigstiden i ett nära samarbete mellan socialdemokrater och liberaler inom Folkpartiet och Centerpartiet.

Genom att, som i dag sker, acceptera vinstdrivande företag inom skolområdet är dessa skolors mål för verksamheten formulerade inte enbart i skollag och läroplaner, utan även i aktiebolagslagen. För en mycket stor andel av de privata skolorna i dag, är alltså den ekonomiska vinsten det övergripande målet för verksamheten, inte elevernas lärande och kunskaper. Detta genomsyrar ovillkorligen verksamheten …

Det är inte särskilt överraskande att det fria skolvalet kommit att utnyttjas av starka ekonomiska intressen. Dessa har med kommunala skattemedel byggt upp skolkoncerner, vars verksamhet genererat mycket stora vinster, vilka ofta lämnat skolsektorn och ibland undanhållits beskattning genom att placeras i ”skatteparadis”…

För över 100 år sedan samarbetade liberalen Fridtjuv Berg, Sveriges genom tiderna sannolikt mest uppskattade utbildningsminister, med socialdemokraten Hjalmar Branting, för att folkskolan skulle utvecklas till att bli den för alla samhällsklassers barn och ungdomar gemensamma skolan.

De gjorde det för att förhindra att det skulle uppstå skolor parallella med folkskolan, för barn tillhörande de ekonomiskt och socialt bättre ställda i samhället.

Det borde finnas liberaler i olika partier även i dag, som är beredda att samarbeta med socialdemokrater för att elevernas kunskaper, färdigheter och personliga utveckling i enlighet med skollag och läroplaner ska vara den obligatoriska skolans allt annat övergripande mål och därmed ej längre acceptera vinst, som det övergripande målet för skolans verksamhet.

Carl Lindberg UNT 27/10 2012

Keynes was right – austerity doesn’t work!

8 Nov, 2012 at 14:10 | Posted in Economics | 7 Comments

And Henry Blodget tells us why:

Now, I’m not an economist, and I’m not born of a particular economic school that I’ve bet my life’s work on, so I have observed the global economic events of the past five years with a fairly open mind.

I’ve listened to Keynesians like Paul Krugman argue that the way to fix the mess is to open the government spending spigot and invest like crazy.

And I’ve listened to Austerians like Niall Ferguson argue that the way to fix the mess is to cut spending radically, balance government budgets, and unleash the private sector.

And I’ve also looked back at history—namely, Reinhart and Rogoff’s analysis of prior financial crises, the Great Depression, Japan, Germany after Weimar, and so forth.

And more and more it appears that Keynes was right.

In the aftermath of a massive debt binge like the one we went on from 1980-2007, when the private sector collapses and then retreats to lick its wounds and deleverage, the best way to help the economy work its way out of its hole is for the government to spend like crazy.

Or, rather, if not the “best way,” at least the least-worst way.

Because, obviously, piling up even bigger mountains of debt is not a happy side-effect of such spending.

But let’s face it: Austerity doesn’t work.

At least, austerity doesn’t work to quickly fix the problem.

The reason austerity doesn’t work to quickly fix the problem is that, when the economy is already struggling, and you cut government spending, you also further damage the economy. And when you further damage the economy, you further reduce tax revenue, which has already been clobbered by the stumbling economy. And when you further reduce tax revenue, you increase the deficit and create the need for more austerity. And that even further clobbers the economy and tax revenue. And so on.

But getting the budget under control by radically chopping spending or increasing taxes this minute, as many Austerians want to do, won’t help. In fact, it will likely make the problems vastly worse, because it will put that many more people out of work and reduce tax revenue that much further (just take a look at Europe).Meanwhile, given that we’ve already racked up $15 trillion of debt, I certainly wouldn’t be opposed to our spending another couple of trillion upgrading our piss-poor infrastructure. Incurring debt to build things that help all Americans, from unemployed folks to business leaders to children, is a trade-off I’m willing to make. Especially if the jobs created by this “stimulus” spending help alleviate our massive unemployment and inequality problems.

And, by the way, I don’t think this “stimulus” necessarily needs to come from just the government. Our corporations are as profitable now as they have ever been. So I’d like to see a lot of them voluntarily decide to invest more and pay their low-wage employees more and hire more employees. They can afford it, and “cash flow” isn’t the sole objective or reward of running a business.

Anyway, based on the experience of the last five years, it seems to me that Keynes was right.

I still have an open mind, though, if any Austerians out there want to have another go.

Busbra om eurokrisen

8 Nov, 2012 at 12:58 | Posted in Economics, Politics & Society | 1 Comment

Nationalekonomen Stefan de Vylder har skrivit en lättläst och pedagogisk bok om euron och dess återkommande kriser. I Eurokrisen visar han övertygande varför euron är ett så sällsynt korkat prestigeprojekt som idag mer än någonting annat drar ner den europeiska ekonomin i ett moras som det kan komma att ta årtionden att ta sig ur. Rekommenderad läsning för alla kunskapstörstande – men framför allt för alla de som mot bättre vetande inbillar sig att åtstramningspolitik skulle vara en framkomlig väg att att ta sig ur dagens euroskuldkris.

47% Payback

7 Nov, 2012 at 20:25 | Posted in Politics & Society | Comments Off on 47% Payback

 

HSV:s utvärderingsmodell – var finns evidensen?

7 Nov, 2012 at 19:14 | Posted in Education & School | 2 Comments

Det stora problemet generellt när det gäller den utvärderingsmodell HSV anammat och som så tungt vilar på en parameter – examensarbetenas kvalitet – är att det långt ifrån är säkert att man kan fånga in utbildningskvalitet med ett enda, homogent mått. När det gäller traditionella ”akademiska” och ”teoretiska” utbildningar kan man kanske argumentera för att problemet inte är oöverkomligt, men vi har ju en massa mer praktiskt inriktade professionsutbildningar också på våra universitet – civilekonom-, socionom- och lärarutbildningar t ex. Är det verkligen säkert/troligt att man blir en bra lärare, socialarbetare eller revisor bara för att man skrivit ett bra examensarbete? Just när det gäller professionsutbildningarna känner nog många som i åratal jobbat med olika former av kvalitetssäkringsarbete för våra utbildningar att examensarbetesfixeringen är ett alltför trubbigt verktyg. Det känns lite som att man egentligen vill mäta något annat, men väljer en proxyvariabel och hoppas att det ändå ska vara någorlunda OK. Ett hopp för vilket det nog inte finns någon annan grund än tron.

Här saknas en gedigen diskussion om vilka ”warranted and relevant evidence” HSV har för sin utvärderingsmodell. ENQA – The European Association for Quality Assurance in Higher Education – har ju också fört fram allvarlig kritik om brister i det nya svenska utvärderingssystemet och att det svenska systemet inte längre överensstämmer med den gemensamma standarden ESG. Denna kritik bör tas på fullt allvar!

Det finns alltid en uppenbar fara i att basera kvalitetsutvärderingssystem – och resursfördelning som det ju i slutändan här faktiskt delvis också handlar om – på enkla ”objektiva” mått när det vi vill mäta/premiera i själva verket har flera och komplexa dimensioner. Ofta har utbildningar en distinkt karaktär av ”fleruppgiftsverksamhet” som svårligen på ett adekvat sätt låter sig reduceras till en, mätbar, homogen entitet. HSV:s olika bedömargrupper gör säkert så gott de kan, men problemet ligger ju i grunden i utvärderingsmodellens ”egenlogik”. Kvalitetsevidens är oerhört svåra att ens definiera, och när det gäller implementering av desamma är problemen än större. Att x fungerar för y i t är inget otvetydigt belägg för att x fungerar för w i z. Här finns en inte så liten övertro på utvärderingsinstrumentens träffsäkerhet från HSV:s sida.

Till detta kan man ju också eventuellt lägga en typ av rättviseaspekter, om exempelvis hur de olika utgångslägena för de olika utbildningarna när det gäller bakgrundsfaktorer som etnicitet, socioekonomisk bakgrund o d ska vägas in i “effektvärderingarna”. Den obligatoriska skolan har ju en lagstiftad kompensatorisk komponent, men när det gäller högskoleutbildning tror jag inte det föreligger någon sådan, så kanske är det därför HSV negligerar den aspekten.

Det verkar som om flera av de som deltagit i de olika bedömargrupperna delar de kritiska synpunkter som förs fram här. Ännu mer glädjande är det förstås om dessa kritiska synpunkter också kommer HSV till del. Kvalitetsgranskningar och den ”ranking” de resulterar i tror jag de flesta av oss som jobbat med kvalitetssäkringsfrågor tar tämligen lätt på, men eftersom det ju också de facto påverkar resursallokeringen får detta ju faktiska konsekvenser för medeltilldelningen och kan därför inte helt negligeras. Kritik från de som själva leverarar rapporterna har alltid extra tyngd. Så – skicka budskapet vidare!

More Fatal Fallacies of Economic Fundamentalism

7 Nov, 2012 at 13:52 | Posted in Economics | 3 Comments

Fallacy 8

If deficits continue, the debt service would eventually swamp the fisc.

Real prospect: While viewers with alarm are fond of horror-story projections in which per capita debt would become intolerably burdensome, debt service would absorb the entire income tax revenue, or confidence is lost in the ability or willingness of the government to levy the required taxes so that bonds cannot be marketed on reasonable terms, reasonable scenarios protect a negligible or even favorable effect on the fisc … A fifteen trillion debt will be far easier to deal with out of a full employment economy with greatly reduced needs for unemployment benefits and welfare payments than a five trillion debt from an economy in the doldrums with its equipment in disrepair. There is simply no problem …
 

Fallacy 14

Government debt is thought of as a burden handed on from one generation to its children and grandchildren.

Reality: Quite the contrary, in generational terms, (as distinct from time slices) the debt is the means whereby the present working cohorts are enabled to earn more by fuller employment and invest in the increased supply of assets, of which the debt is a part, so as to provide for their own old age. In this way the children and grandchildren are relieved of the burden of providing for the retirement of the preceding generations, whether on a personal basis or through government programs.

This fallacy is another example of zero-sum thinking that ignores the possibility of increased employment and expanded output …

—————————-

These fallacious notions, which seem to be widely held in various forms by those close to the seats of economic power, are leading to policies that are not only cruel but unnecessary and even self-defeating in terms of their professed objectives …

We will not get out of the economic doldrums as long as we continue to be governed by fallacious notions that are based on false analogies, one-sided analysis, and an implicit underlying counterfactual assumption of an inevitable level of unemployment …

If a budget balancing program should actually be carried through, the above analysis indicates that sooner or later a crash comparable to that of 1929 would almost certainly result … To assure against such a disaster and start on the road to real prosperity it is necessary to relinquish our unreasoned ideological obsession with reducing government deficits, recognize that it is the economy and not the government budget that needs balancing in terms of the demand for and supply of assets, and proceed to recycle attempted savings into the income stream at an adequate rate, so that they will not simply vanish in reduced income, sales, output and employment. There is too a free lunch out there, indeed a very substantial one. But it will require getting free from the dogmas of the apostles of austerity, most of whom would not share in the sacrifices they recommend for others. Failing this we will all be skating on very thin ice.

William Vickrey Fifteen Fatal Fallacies of Financial Fundamentalism

« Previous PageNext Page »

Blog at WordPress.com.
Entries and comments feeds.