LARS P. SYLL

Vad säger oss — egentligen — statistiska regressioner?

En grupp ‘högpresterande’ elever — Ada, Beda, och Cissi — söker in till en friskola. Ada och Beda blir antagna och börjar på den. Cissi blir också antagen, men väljer att gå på en kommunal skola. En annan grupp ‘lågpresterande’ elever — bestående av Dora och Eva — söker och blir både antagna till en friskola, men Eva väljer att gå på en kommunal skola.

Om vi nu tittar på hur de presterar på ett kunskapsprov får vi följande resulatat: Ada — 22, Beda — 20, Cissi — 22, Dora — 12, Eva — 6. I den första gruppen får vi en provresultatskillnad mellan de elever som går på friskola och eleven som går i kommunal skola på -1 ((22+20)/2 – 22). I den andra gruppen blir provresultatskillnaden mellan eleven som väljer att gå på friskola och eleven som väljer gå i kommunal skola 6 (12-6). Den genomsnittliga provresultatskillnaden för grupperna tagna tillsammans är 2.5 ((-1+6)/2). Om man kör en vanlig OLS regression på datan — Skattade Provresultat = α + ß*Skolform + ζ*Grupptillhörighet — så får vi α = 8, ß = 2 och ζ = 12.

Kruxet med regressionsparameterskattningen är att det viktade genomsnittsvärdet — 2 — egentligen inte säger speciellt mycket om de gruppspecifika effekterna, där vi i den ena gruppen har en negativ ‘effekt’ av att gå i friskola och i den andra en positiv ‘effekt.’ Återigen har vi ett exempel där verklighetens heterogenitet riskerar ‘maskeras’ när man använder traditionell regressionsanalys för att skatta kausala ‘effekter.’

Curve-fitting methods

Instrumentalvariabler och heterogenitet — en kommentar (wonkish)

Användandet av instrumentalvariabler används numera flitigt bland ekonomer och andra samhällsforskare. Inte minst när man vill försöka gå bakom statistikens ‘korrelationer’ och också säga något om ‘kausalitet.’

Tyvärr brister det ofta rejält i tolkningen av de resultat man får med hjälp av den vanligaste metoden som används för detta syfte — statistisk regressionsanalys.

Ett exempel från skolområdet belyser detta väl.

Ibland hävdas det bland skoldebattörer och politiker att friskolor skulle vara bättre än kommunala skolor. De sägs leda till bättre resultat. Alltså: om vi tänker oss att man skulle låta elever från friskolor och kommunala skolor genomföra gemensamma prov så skulle friskolelever prestera bättre (fler rätt på provräkningar e d).

För argumentets skull antar vi att man för att ta reda på om det verkligen förhåller sig på detta sätt även i Malmö, slumpmässigt väljer ut högstadieelever i Malmö och låter dem skriva ett prov. Resultatet skulle då i vanlig regressionsanalytisk form kunna bli

Provresultat = 20 + 5*T,

där T=1 om eleven går i friskola, och T=0 om eleven går i kommunal skola. Detta skulle innebära att man får bekräftat antagandet — friskoleelever har i genomsnitt 5 poäng högre resultat än elever på kommunala skolor i Malmö.

Nu är ju politiker (förhoppningsvis) inte dummare än att de är medvetna om att detta statistiska resultat inte kan tolkas i kausala termer eftersom elever som går på friskolor typiskt inte har samma bakgrund (socio-ekonomiskt, utbildningsmässigt, kulturellt etc) som de som går på kommunala skolor (relationen skolform-resultat är ‘confounded’ via ‘selection bias.’)

För att om möjligt få ett bättre mått på skolformens kausala effekter väljer Malmös politiker  föreslå att man via lottning gör det möjligt för 1000 högstadieelever att bli antagna till en friskola. ‘Vinstchansen’ är 10%, så 100 elever får denna möjlighet. Av dessa antar 20 erbjudandet att gå i friskola. Av de 900 lotterideltagare som inte ‘vinner’ väljer 100 att gå i friskola.

Lotteriet uppfattas ofta av skolforskare som en ’instrumentalvariabel’ och när man så genomför regressionsanalysen med hjälp av denna visar sig resultatet bli

Provresultat = 20 + 2*T.

Detta tolkas standardmässigt som att man nu har fått ett kausalt mått på hur mycket bättre provresultat högstadieelever i Malmö i genomsnitt skulle få om de istället för att gå på kommunala skolor skulle välja att gå på friskolor.

Men stämmer det? Nej!

Om inte alla Malmös skolelever har exakt samma provresultat (vilket väl får anses vara ett rätt långsökt ‘homogenitetsantagande’) så gäller den angivna genomsnittliga kausala effekten bara de elever som väljer att gå på friskola om de ’vinner’ i lotteriet, men som annars inte skulle välja att gå på en friskola (på statistikjargong kallar vi dessa ’compliers’). Att denna grupp elever skulle vara speciellt intressant i det här exemplet är svårt att se med tanke på att den genomsnittliga kausala effekten skattad med hjälp av instrumentalvariabeln inte säger någonting alls om effekten för majoriteten (de 100 av 120 som väljer en friskola utan att ha ‘vunnit’ i lotteriet) av de som väljer att gå på en friskola.

Slutsats: forskare måste vara mycket mer försiktiga med att tolka vanliga statistiska regressionsanalyser och deras ‘genomsnittsskattningar’ som kausala. Verkligheten uppvisar en hög grad av heterogenitet. Och då säger oss regressionsanalysens konstanta ‘genomsnittsparametrar’ i regel inte ett smack!

When should we believe the unconfoundedness assumption?

Economics may be an informative tool for research. But if its practitioners do not investigate and make an effort of providing a justification for the credibility of the assumptions on which they erect their building, it will not fulfil its task. There is a gap between its aspirations and its accomplishments, and without more supportive evidence to substantiate its claims, critics — like yours truly — will continue to consider its ultimate arguments as a mixture of rather unhelpful metaphors and metaphysics.

In mainstream economics, there is an excessive focus on formal modelling and statistics. The models and the statistical (econometric) machinery build on — often hidden and non-argued for — assumptions that are unsupported by data and whose veracity is highly uncertain.

Econometrics fails miserably over and over again. One reason is that the unconfoundedness assumption does not hold. Another important reason why it does is that the error term in the regression models used is thought of as representing the effect of the variables that were omitted from the models. The error term is somehow thought to be a ‘cover-all’ term representing omitted content in the model and necessary to include to ‘save’ the assumed deterministic relation between the other random variables included in the model. Error terms are usually assumed to be orthogonal (uncorrelated) to the explanatory variables. But since they are unobservable, they are also impossible to empirically test. And without justification of the orthogonality assumption, there is, as a rule, nothing to ensure identifiability:

With enough math, an author can be confident that most readers will never figure out where a FWUTV (facts with unknown truth value) is buried. A discussant or referee cannot say that an identification assumption is not credible if they cannot figure out what it is and are too embarrassed to ask.

Distributional assumptions about error terms are a good place to bury things because hardly anyone pays attention to them. Moreover, if a critic does see that this is the identifying assumption, how can she win an argument about the true expected value the level of aether? If the author can make up an imaginary variable, “because I say so” seems like a pretty convincing answer to any question about its properties.

Paul Romer

Regression analysis — a constructive critique

As a descriptive exercise, all is well. One can compare the average salary of men and women, holding constant potential confounders. The result is a summary of how salaries differ on the average by gender, conditional on the values of one or more covariates. Why the salaries may on the average differ is not represented explicitly in the regression model …

Moving to causal inference is an enormous step that needs to be thoroughly considered. To begin, one must ponder … whether the causal variable of interest can be usefully conceptualized as an intervention within a response schedule framework [a formal structure in which to consider what the value of the response y would be if an input x were set to some vaue]. Once again consider gender. Imagine a particular faculty member. Now imagine intervening so that the faculty member’s gender could be set to ‘male.’ One would do this while altering nothing else about this person …

Clearly, the fit between the requisite response schedule and the academic world in which salaries are determined fails for at least two reasons: The idea of setting gender to male or female is an enormous stretch, and even, if gender could be manipulated, it is hard to accept that only gender would be changed. In short, the causal story is in deep trouble even before the matter of holding constant surfaces …

This is not to imply that it never makes sense to apply regression-based adjustments in causal modeling. The critical issue is that the real world must cooperate by providing interventions that could be delivered separately …

As a technical move, it is easy to apply regression-based adjustmens to confounders. Whether it is sensible to do so is an entirely different matter …

The most demanding material [is] the examination of what it means to ‘hold constant’ … The problem [is] the potential incongruence between the mechanics of regression-based adjustments and the natural or social world under study.