Fölster och Reforminstitutet har fel om friskolorna

28 Aug, 2013 at 14:08 | Posted in Education & School | Comments Off on Fölster och Reforminstitutet har fel om friskolorna

jbStefan Fölster och Reforminstitutet — huvudsakligen finansierat av Stiftelsen fritt näringsliv — har i en undersökning där man jämfört resultatutvecklingen i årskurs 9 i de kommuner som har respektive inte har friskolor, kommit fram till att skolmarknadskonkurrens förbättrar skolresultaten. Kommuner där friskolor inte förekommer har haft en sämre resultatutveckling än kommuner med friskolor.

Stämmer detta verkligen? Pontus Bäckström har berättigade dubier:

Den uppmärksamme läsaren av rapporten (och debattartikeln) reagerar nog över dessa resultat. Kan de stämma? Har det inte skett en väldigt olikartad utveckling i övriga förutsättningar mellan icke-friskolekommunerna och de andra?

För att skingra dessa tvivel beskrivs i rapporten vissa av de kontroller som har gjorts. Man beskriver till exempel hur man har tittat på förändringen i föräldrarnas utbildningsnivå och andelen elever med utländsk bakgrund och konstaterar att utvecklingen varit snarlik i icke-friskolekommunerna och friskolekommunerna.

Denna övning måste dock betraktas som ett spel för galleriet. Att kontrollera om förändringarna i medelvärden mellan åren varit desamma är inte samma sak som att införa kontrollvariabler i en statistisk analys. Ett exempel: Tittar man på betygsmedelvärdena i grundskolan ser man att betygssnittet i årskurs 9 i kommungruppen ”förortskommuner till storstäder” var högre läsåret 2011/12 (217p) än vad det var i kommungruppen ”glesbygdskommuner” (203p). Samtidigt visar Fölsters undersökning att föräldrarnas utbildningsnivå (som har högst förklaringsvärde) ökat likartat för de båda kommungrupperna. Fölsters slutsats är alltså att detta innebär att eleverna i förortskommunerna presterar bättre än de i glesbygdskommunerna och – enligt hans idé om det kausala sambandet – detta för att de har fler friskolor. Fölster tycks alltså mena att föräldrarnas utbildningsnivå kan bortses från i denna jämförelse.

Det Fölster dock missar är ju att föräldrarnas utbildningsnivå fortsatt är mycket högre i dessa förortskommuner (2,28) än i glesbygdskommunerna (2,13) (enligt SALSA-datat var dessa uppgifter är hämtade ifrån). Om föräldrarnas utbildningsnivå lades till som en kontrollvariabel i analysen skulle sannolikt friskoleeffekten minska alternativt försvinna helt.

Med detta sagt, vad borde Fölster och Reforminstitutet alltså ha gjort för att prestera en mer korrekt analys?

Ett sätt att angripa frågan är bedriva klassisk hypotesprövning …

Analysen visar att variablerna dels tillför mycket litet förklaringskraft till modellen, dels att de med nöd och näppe är signifikanta. Enskolevariabeln (dvs att kommunen bara har kommunal skola eller ej) förklarar endast 0,95 % av variationen och andel friskoleelever i kommunen förklarar endast 0,88 %, att jämföra med föräldrarnas utbildningsnivå som förklarar 20,6 %.

Vad som yttermera är intressant att notera utifrån analysen av dessa data är att effekten är negativ (!). Den skattade effekten enligt modellen, för en kommun som går från att endast ha kommunal skola till att ha friskolor (allt annat lika), är alltså en försämring om 1,7 procent. Även effekten av andelen friskoleelever av kommunens elever är negativ …

Den viktigaste slutsatsen är dock att Fölsters undersökning bör tas med några rejäla nypor salt; de kommuner som år 2012 endast hade kommunala grundskolor tycks inte alls ha presterat sämre än friskolekommunerna. Den positiva kausala effekten av konkurrens som Fölster uttalar sig om tycks inte finnas, åtminstone kan den inte beläggas i det data han använt. Om en effekt finns tycks den snarare vara något negativ

Fölsters och Reforminstitutets undersökning är ett uttryck för ett expanderande forskningsområde där forskare, utbildningsanordnare, politiker m.fl. försöka skaffa sig kunskaper om vilka konsekvenser friskolereformen haft.

Nu är det självklart inte helt lätt att göra en sådan bedömning med tanke på hur mångfacetterade och vittomfattande de mål är som satts upp för skolverksamheten i Sverige.

Ett vanligt mål som man fokuserat på är elevernas prestationer i form av uppnående av olika kunskapsnivåer. När man genomförde friskolereformen var ett av de ofta framförda argumenten att friskolorna skulle höja elevernas kunskapsnivåer, både i friskolorna (”den direkta effekten”) och – via konkurrenstrycket – i de kommunala skolorna (”den indirekta effekten”). De kvantitativa mått man använt för att göra dessa värderingar är genomgående betyg och/eller resultat på nationella prov.

Vid en första anblick kan det kanske förefalla trivialt att göra sådana undersökningar. Det är väl bara att – kan det tyckas – plocka fram data och genomföra nödiga statistiska tester och regressioner. Riktigt så enkelt är det nu inte. I själva verket är det väldigt svårt att få fram entydiga kausala svar på den här typen av frågor.

Ska man entydigt kunna visa att det föreligger effekter och att dessa är ett resultat av just friskolornas införande – och inget annat – måste man identifiera och därefter kontrollera för påverkan från alla ”störande bakgrundsvariabler” av typen föräldrars utbildning, socioekonomisk status, etnicitet, geografisk hemhörighet, religion m.m. – så att vi kan vara säkra på att det inte är skillnader i dessa variabler som är de i fundamental mening verkliga kausalt bakomliggande förklaringarna till eventuella genomsnittliga effektskillnader.

Det i särklass vanligaste undersökningsförfarandet är att man genomför en traditionell multipel regressionsanalys baserad på så kallade minstakvadrat (OLS) eller maximum likelihood (ML) skattningar av observationsdata, där man försöker ”konstanthålla” ett antal specificerade bakgrundsvariabler för att om möjligt kunna tolka regressionskoefficienterna i kausala termer. Vi vet att det föreligger risk för ett ”selektionsproblem” eftersom de elever som går på friskolor ofta skiljer sig från de som går på kommunala skolor vad avser flera viktiga bakgrundsvariabler, kan vi inte bara rakt av jämföra de två skolformerna kunskapsnivåer för att därur dra några säkra kausala slutsatser. Risken är överhängande att de eventuella skillnader vi finner och tror kan förklaras av skolformen, i själva verket helt eller delvis beror på skillnader i de bakomliggande variablerna (t.ex. bostadsområde, etnicitet, föräldrars utbildning, m.m.)

Ska man försöka sig på att sammanfatta de regressionsanalyser som genomförts är resultatet att de kausala effekter på elevers prestationer man tyckt sig kunna identifiera av friskolor genomgående är små (och ofta inte ens statistiskt signifikanta på gängse signifikansnivåer). Till detta kommer också att osäkerhet råder om man verkligen kunnat konstanthålla alla relevanta bakgrundsvariabler och att därför de skattningar som gjorts ofta i praktiken är behäftade med otestade antaganden och en icke-försumbar osäkerhet och ”bias” som gör det svårt att ge en någorlunda entydig värdering av forskningsresultatens vikt och relevans. Enkelt uttryckt skulle man kunna säga att många – kanske de flesta – av de effektstudier av detta slag som genomförts, inte lyckats skapa tillräckligt jämföra grupper, och att – eftersom detta strikt sett är absolut nödvändigt för att de statistiska analyser man de facto genomför ska kunna tolkas på det sätt man gör – värdet av analyserna därför är svårt att fastställa. Det innebär också – och här ska man även väga in möjligheten av att det kan föreligga bättre alternativa modellspecifikationer (speciellt vad gäller ”gruppkonstruktionerna” i de använda urvalen) – att de ”känslighetsanalyser” forskare på området regelmässigt genomför, inte heller ger någon säker vägledning om hur pass ”robusta” de gjorda regressionsskattningarna egentligen är. Vidare är det stor risk för att de latenta, bakomliggande, ej specificerade variabler som representerar karakteristika som ej är uppmätta (intelligens, attityd, motivation m.m.) är korrelerade med de oberoende variabler som ingår i regressionsekvationerna och därigenom leder till ett problem med endogenitet.

Den av Fölster och Reforminstitutet nu presenterade undersökningen ändrar inte på det faktum att det sammantaget sett verkar som om forskningen inte generellt kunnat belägga att införandet av friskolor lett till några större effektivitetsvinster eller påtagligt ökade kunskapsnivåer hos eleverna i stort. De uppmätta effekterna är små och beror till stor del på hur de använda modellerna specificeras och hur de ingående variablerna mäts och vilka av dem som ”konstanthålls”. Det går således inte heller att säkerställa att de effekter man tyckt sig kunna detektera vad gäller resultatförbättringar i friskolor skulle bero på friskolorna som sådana. Metodologiskt har det visat sig vara svårt att konstruera robusta och bra kvalitetsmått och mätinstrument som möjliggör en adekvat hantering av alla de olika faktorer – observerbara och icke-observerbara – som påverkar konkurrensen mellan skolformerna och ger upphov till eventuella skillnader i elevprestationer mellan skolformerna. Följden blir att de små effekter man (i vissa undersökningar) kunnat konstatera föreligga sällan är behäftade med någon högre grad av evidentiell ”warrant”. Mycket av forskningsresultaten baseras på både otestade och i grunden otestbara modellantaganden (t.ex. vad avser linearitet, homogenitet, additivitet, icke-förekomst av interaktionsrelationer, oberoende, bakgrundskontextuell neutralitet m.m.) Resultaten är genomgående av en tentativ karaktär och de slutsatser forskare, politiker och opinionsbildare kan dra av dem bör därför — vilket Fölster och Reforminstitutet uppenbarligen “glömt” — återspegla denna osäkerhet.

Blog at WordPress.com.
Entries and Comments feeds.