Kausalitet och statistik

18 Nov, 2020 at 22:43 | Posted in Statistics & Econometrics | Leave a comment

Pearl's 'Book of Why' Is a Crowning AchievementI The Book of Why för Judea Pearl fram flera tunga skäl till varför den numera så populära kausala grafteoretiska ansatsen är att föredra framför mer traditionella regressionsbaserade förklaringsmodeller. Ett av skälen är att kausala grafer är icke-parametriska och därför inte behöver anta exempelvis additivitet och/eller frånvaro av interaktionseffekter — pilar och noder ersätter regressionsanalysens nödvändiga specificeringar av funktionella relationer mellan de i ekvationerna ingående variablerna.

Men även om Pearl och andra av grafteorins anhängare mest framhäver fördelarna med den flexibilitet det nya verktyget ger oss, finns det också klara risker och nackdelar med användandet av kausala grafer. Bristen på klargörande om additivitet, interaktion, eller andra variabel- och relationskaraktäristika föreligger och hur de i så fall specificeras, kan ibland skapa mer problem än de löser.

Många av problemen — precis som med regressionsanalyser — hänger samman med förekomsten och graden av heterogenitet. Låt mig ta ett exempel från skolforskningens område för att belysa problematiken.

En på senare år återkommande fråga som både politiker och forskare ställt sig (se t ex här) är om friskolor leder till att höja kunskapsnivå och provresultat bland landets skolelever. För att kunna svara på denna (realiter mycket svåra) kausala fråga, behöver vi ha kännedom om mängder av kända, observerbara variabler och bakgrundsfaktorer (föräldrars inkomster och utbildning, etnicitet, boende, etc, etc). Därutöver också faktorer som vi vet har betydelse men är icke-observerbara och/eller mer eller mindre omätbara.

Problemen börjar redan när vi frågar oss vad som döljer sig bakom den allmänna termen ‘friskola’. Alla friskolor är inte likvärdiga (homogenitet). Vi vet att det föreligger många gånger stora skillnader mellan dem (heterogenitet). Att då lumpa ihop alla och försöka besvara den kausala frågan utan att ta hänsyn till dessa skillnader blir många gånger poänglöst och ibland också fullständigt missvisande.

Ett annat problem är att en annan typ av heterogenitet — som har med specifikation av de funktionella relationerna att göra — kan dyka upp. Anta att friskoleeffekten hänger samman med exempelvis etnicitet, och att elever med ‘svensk bakgrund’ presterar bättre än elever med ‘invandrarbakgrund.’ Detta behöver inte nödvändigtvis innebära att elever med olika etnisk bakgrund i sig påverkas olika av att gå på friskola. Effekten kan snarare härröra, exempelvis, ur det faktum att de alternativa kommunala skolor invandrareleverna kunnat gå på varit sämre än de ‘svenska’ elever kunnat gå på. Om man inte tar hänsyn till dessa skillnader i jämförelsegrund blir de skattade friskoleeffekterna missvisande.

Ytterligare heterogenitetsproblem uppstår om de mekanismer som är verksamma vid skapandet av friskoleeffekten ser väsentligt annorlunda ut för olika grupper av elever. Friskolor med ‘fokus’ på invandrargrupper kan exempelvis tänkas vara mer medvetna om behovet av att stötta dessa elever och vidta kompenserande åtgärder för att motarbeta fördomar och dylikt. Utöver effekterna av den (förmodade) bättre undervisningen i övrigt på friskolor är effekterna för denna kategori av elever också en effekt av den påtalade heterogeniteten, och kommer följaktligen inte att sammanfalla med den för den andra gruppen elever.

Tyvärr är det inte slut på problemen här. Vi konfronteras också med ett svårlöst och ofta förbisett selektivitetsproblem. När vi vill försöka få svar på den kausala frågan kring effekterna av friskolor är ett vanligt förfarande i regressionsanalyser att ‘konstanthålla’ eller ‘kontrollera’ för påverkansfaktorer utöver de vi främst är intresserade av. När det gäller friskolor är en vanlig kontrollvariabel föräldrarnas inkomst- eller utbildnings-bakgrund. Logiken är att vi på så vis ska kunna simulera en (ideal) situation som påminner så mycket som möjligt om ett randomiserat experiment där vi bara ‘jämför’ (matchar) elever till föräldrar med jämförbar utbildning eller inkomst, och på så vis hoppas kunna erhålla ett bättre mått på den ‘rena’ friskoleeffekten. Kruxet här är att det inom varje inkomst- och utbildningskategori kan dölja sig ytterligare en – ibland dold och kanske omätbar — heterogenitet som har med exempelvis inställning och motivation att göra och som gör att vissa elever tenderar välja (selektera) att gå på friskolor eftersom de tror sig veta att de kommer att prestera bättre där än på kommunala skolor (i friskoledebatten är ett återkommande argument kring segregationseffekterna att elever till föräldrar med hög ‘socio-ekonomisk status’ här bättre tillgång till information om skolvalets effekter än andra elever). Inkomst- eller utbildningsvariabeln kan på så vis de facto  ‘maskera’ andra faktorer som ibland kan spela en mer avgörande roll än de. Skattningarna av friskoleeffekten kan därför här — åter — bli missvisande, och ibland till och med ännu mer missvisande än om vi inte ‘konstanthållit’ för någon kontrollvariabel alls (jfr med ‘second-best’ teoremet i välfärdsekonomisk teori)!

Att ‘kontrollera’ för möjliga ‘confounders’ är alltså inte alltid självklart rätt väg att gå. Om själva relationen mellan friskola (X) och studieresultat (Y) påverkas av införandet av  kontrollvariabeln ‘socio-ekonomisk status'(W) är detta troligen ett resultat av att det föreligger någon typ av samband mellan X och W. Detta  innebär också att vi inte har en  ideal ‘experimentsimulering’ eftersom det uppenbarligen finns faktorer som påverkar Y och som inte är slumpmässigt fördelade (randomiserade). Innan vi kan gå vidare måste vi då fråga oss varför sambandet i fråga föreligger. För att kunna kausalt förklara sambandet mellan X och Y, måste vi veta mer om hur W påverkar valet av X. Bland annat kan vi då finna att det föreligger en skillnad i valet av X mellan olika delar av  gruppen med hög ‘socio-ekonomisk status’ W. Utan kunskaper om denna selektionsmekanism kan vi inte  på ett tillförlitligt sätt mäta X:s effekt på Y — den randomiserade förklaringsmodellen är helt enkelt inte applicerbar. Utan kunskap om varför det föreligger ett samband  — och hur det ser ut — mellan X och W, hjälper oss inte ‘kontrollerandet’ eftersom det inte tar höjd för den verksamma selektionsmekanismen.

Utöver de här tangerade problemen har vi andra sedan gammalt välkända problem. Den så kallade kontext- eller gruppeffekten — för en elev som går på en friskola kan resultaten delvis vara en effekt av att hennes skolkamrater har liknande bakgrund och att hon därför i någon mening dra fördel av sin omgivning, vilket inte skulle ske om hon gick på en kommunal skola — innebär åter att ’confounder’ eliminering via kontrollvariabler inte självklart fungerar när det föreligger ett samband mellan kontrollvariabel och icke-eller svårmätbara icke-observerbara attribut som själva påverkar den beroende variabeln. I vårt skolexempel kan man anta att de föräldrar med en viss socio-ekonomisk status som skickar sina barn till friskolor skiljer sig från samma grupp av föräldrar som väljer låta barnen gå i kommunal skola. Kontrollvariablerna fungerar — åter igen — inte som fullödiga  substitut för ett verkligt experiments randomiserade ’assignment.’

Am I right in thinking that the method of multiple correlation analysis essentially depends on the economist having furnished, not merely a list of the significant causes, which is correct so far as it goes, but a complete list? For example, suppose three factors are taken into account, it is not enough that these should be in fact vera causa; there must be no other significant factor. If there is a further factor, not taken account of, then the method is not able to discover the relative quantitative importance of the first three. If so, this means that the method is only applicable where the economist is able to provide beforehand a correct and indubitably complete analysis of the significant factors. The method is one neither of discovery nor of criticism. It is a means of giving quantitative precision to what, in qualitative terms, we know already as the result of a complete theoretical analysis …

John Maynard Keynes

Vad avser användandet av kontrollvariabler får man inte heller bortse från en viktig aspekt som sällan berörs av de som använder berörda statistiska metoder. De i studierna ingående variablerna behandlas ‘som om’ relationerna mellan dem i populationen är slumpmässig. Men variabler kan ju de facto ha de värden de har just för att de ger upphov till de konsekvenser de har. Utfallet bestämmer på så vis alltså i viss utsträckning varför de ‘oberoende’ variablerna har de värden de har. De ”randomiserade’ oberoende variablerna visar sig i själva verket vara något annat än vad de antas vara, och omöjliggör därför också att observationsstudierna och kvasiexperimenten ens är i närheten av att vara riktiga experiment. Saker och ting ser ut som de gör många gånger av ett skäl. Ibland är skälen just de konsekvenser regler, institutioner och andra faktorer anteciperas ge upphov till! Det som uppfattas som ‘exogent’ är i själva verket inte alls ‘exogent’

Those variables that have been left outside of the causal system may not actually operate as assumed; they may produce effects that are nonrandom and that may become confounded with those of the variables directly under consideration.

Hubert Blalock

Vad drar vi för slutsats av allt detta då? Kausalitet är svårt och vi ska — trots kritiken — så klart inte kasta ut barnet med badvattnet. Men att inta en hälsosam skepsis och försiktighet när det gäller bedömning och värdering av statistiska metoders — vare sig det gäller kausal grafteori eller mer traditionell regressionsanalys — förmåga att verkligen slå fast kausala relationer, är definitivt att rekommendera.

My favourite Stockholm girl (personal)

18 Nov, 2020 at 17:38 | Posted in Varia | Leave a comment

20190325_0907401189368657.jpg

Visiting​ Stockholm yours truly, of course, takes the opportunity to spend some time with the ​daughter who lives there. Picture above taken eighteen years ago at our summer residence, and the one below is somewhat more recent …

4C7EC9DE-9F2A-43A1-952C-D0138B6FFD3D_1_201_a

Historiens sämsta raggningsreplik

18 Nov, 2020 at 17:01 | Posted in Varia | Leave a comment

Renegater | Klas Östergren | Bokförlaget Polaris Den förundersökning som polisen inlett redan i december hade lett till att de flesta anmälningar lagts ner på grund av preskription eller brist på bevis. Någonstans förekom dock ett citat som herr Svingel [Klas Östergren] fäst sig vid. En ung kvinna med litterära ambitioner hade visat sig ovillig, varpå klubbvärden [‘kultur-personligheten’ Jean-Claude Arnault] ska ha utbrustit: “Vet du inte vem jag är gift med!?” Som argument i en pågående förförelse är det märkvärdigt …

Economic methodology

18 Nov, 2020 at 12:16 | Posted in Economics | Leave a comment

We are all realists and we all — Mäki, Cartwright, and I — self-consciously present ourselves as such. The most obvious research-guiding commonality, perhaps, is that we do all look at the ontological presuppositions of economics or economists.

title-methodology-image_tcm7-198540Where we part company, I believe, is that I want to go much further. I guess I would see their work as primarily analytical and my own as more critically constructive or dialectical. My goal is less the clarification of what economists are doing and presupposing as seeking to change the orientation of modern economics … Specifically, I have been much more prepared than the other two to criticise the ontological presuppositions of economists—at least publically. I think Mäki is probably the most guarded. I think too he is the least critical, at least of the state of modern economics …

One feature of Mäki’s work that I am not overly convinced by, but which he seems to value, is his method of theoretical isolation (Mäki 1992). If he is advocating it as a method for social scientific research, I doubt it will be found to have much relevance—for reasons I discuss in Economics and reality (Lawson 1997). But if he is just saying that the most charitable way of interpreting mainstream economists is that they are acting on this method, then fine. Sometimes, though, he seems to imply more …

I cannot get enthused by Mäki’s concern to see what can be justified in contemporary formalistic modelling endeavours. The insights, where they exist, seem so obvious, circumscribed, and tagged on anyway …

As I view things, anyway, a real difference between Mäki and me is that he is far less, or less openly, critical of the state and practices of modern economics … Mäki seems more inclined to accept mainstream economic contributions as largely successful, or anyway uncritically. I certainly do not think we can accept mainstream contributions as successful, and so I proceed somewhat differently …

So if there is a difference here it is that Mäki more often starts out from mainstream academic economic analyses accepted rather uncritically, whilst I prefer to start from those everyday practices widely regarded as successful.

Tony Lawson

Tony Lawson and Uskali Mäki are both highly influential contemporary students of economic methodology and philosophy. Yours truly has learned a lot from both of them. Although to a certain degree probably also a question of temperament, I find Lawson’s critical realist critique of mainstream economic theories and models deeper and more convincing than Mäki’s more ‘distanced’ approach. Mäki’s detached style probably reflects the fact that he is a philosopher with an interest in economics, rather than an economist. Being an economist it is easier to see the relevance of Lawson’s ambitious and far-reaching critique of mainstream economics than it is to value Mäki’s often rather arduous application of the analytic-philosophical tool-kit, typically less ambitiously aiming for mostly conceptual and terminological ‘clarifications.’

Graduate education in economics

16 Nov, 2020 at 17:44 | Posted in Economics | 7 Comments

Modern economics has become increasingly irrelevant to the understanding of the real world. In his seminal book Economics and Reality (1997) Tony Lawson traced this irrelevance to the failure of economists to match their deductive-axiomatic methods with their subject.

It is — sad to say — as relevant today as it was twenty-three years ago.

rocket-science-pic

It is still a fact that within mainstream economics internal validity is everything and external validity nothing. Why anyone should be interested in that kind of theories and models is beyond my imagination. As long as mainstream economists do not come up with any export-licenses for their theories and models to the real world in which we live, they really should not be surprised if people say that this is not science, but autism!

Studying mathematics and logics is interesting and fun. It sharpens the mind. In pure mathematics and logics we do not have to worry about external validity. But economics is not pure mathematics or logics. It’s about society. The real world.

Already back in 1991, Journal of Economic Literature published a study by the Commission on Graduate Education in Economics (COGEE) of the American Economic Association (AEA) — chaired by Anne Krueger and including people like Kenneth Arrow, Edward Leamer, Joseph Stiglitz, and Lawrence Summers — focusing on “the extent to which graduate education in economics may have become too removed from real economic problems.” The COGEE members reported from own experience “that it is an underemphasis on the ‘linkages’ between tools, both theory and econometrics, and ‘real world problems’ that is the weakness of graduate education in economics,”  and that both students and faculty sensed “the absence of facts, institutional information, data, real-world issues, applications, and policy problems.” And in conclusion they wrote (emphasis added):

The commission’s fear is that graduate programs may be turning out a generation with too many idiot savants skilled in technique but innocent of real economic issues.

Sorry to say, not much is different today. Economics education is still in dire need of a remake.

Heyr þú oss himnum á

15 Nov, 2020 at 23:12 | Posted in Varia | Leave a comment

.                                                                                                                                 

Gustaf Fjaestad — the winter magician

15 Nov, 2020 at 20:19 | Posted in Varia | Leave a comment

.                                                                                                                           

Marknadsstyrd skola? Nej tack!

15 Nov, 2020 at 16:15 | Posted in Economics | 1 Comment

Friskolorna och sekretessen | LARS P. SYLLDet är allvarligt att likvärdigheten brister i dag, men tyvärr blir det inte bättre utan skevheterna ökar med tiden när vi har ett fritt skolval och en rörlig skolpeng. Den dystra slutsatsen är att Sverige allt mer blir ett samhälle där du måste vara född i rätt familj och med ett starkt socialt kapital i bagaget för att kunna lyckas i livet.

Det är en tankemodell som tyvärr kommer att vinna mark. Att inte se problemen med dagens marknadsstyrda skola är blunda för verkligheten. Dagens marknadiserade skola leder till att demokratin och tanken på allas lika möjligheter att lyckas i livet successivt urholkas. Ungefär som den utveckling USA har haft under en längre tid och som manifesterats i Trumps framgångar.

Nu har USA:s väljare valt en annan väg och det ser ljusare ut nu än före valet. De svenska väljarna står också inför ett vägval och måste ställa sig frågan: Vilken skola vill vi ha, en skola där alla kan lyckas eller bara de med ett starkt socialt kapital?

Svaret på den frågan borde var given för den som vill att skolan ska vara en plats där alla elever ges lika möjlighet att lyckas med sin skolgång, och i förlängningen kunna förverkliga sina liv.

Mattias Karlsson / HallandsPosten

Deutscher Sonderweg

15 Nov, 2020 at 15:59 | Posted in Politics & Society | Leave a comment

Thomas Wüst a Twitter: "Deutscher Sonderweg in #Coronakrise:Lt.  @AllBrightGer ist der Frauenanteil im DAX auf 12,8% gesunken📉😖. Mit  #Ceconomy & #Dermapharm befinden sich nur noch 2 von 160 Firmen aus  #DAX,#MDAX & #Die Pandemie prägt derzeit auf beispiellose Weise die Wirtschaft weltweit. Doch nicht überall ist die Reaktion der Unternehmen dieselbe. In der Krise strukturieren deutsche Konzerne ihre Führungsetagen um, allerdings ganz anders als ihre Wettbewerber in anderen westlichen Industrieländern. Während dort die Vorstände deutlich weiblicher werden, sind in deutschen Börsenunternehmen im Krisenjahr zwei Mechanismen zu beobachten: eine Verkleinerung der Vorstände und der Rückgriff auf Gewohntes, Vertrautes, „Altbewährtes“ – man setzt auf Männer.

Viel häufiger als in den Vorjahren haben sich die deutschen Konzerne im vergangenen Jahr von Frauen in den Vorständen verabschiedet; so ist der Frauenanteil bei den 30 DAX-Unternehmen nicht wie in den Vorjahren weiter angestiegen, sondern in einer Rückwärtsbewegung auf den Stand von 2017 gefallen. Er liegt aktuell bei nur 12,8 Prozent, die Zahl der DAX-Unternehmen ohne Frau im Vorstand ist seit September 2019 von 6 auf 11 hochgeschnellt.

Ganz anders im Ausland: In den USA, Großbritannien, Schweden, Frankreich und Polen werden in der Krise kontinuierlich vielfältigere Führungsteams aufgebaut, die komplexen Herausforderungen besser gewachsen sind. In diesen Ländern gelingt es viel besser, weibliche Talente zu befördern: In den USA (28,6 %), Schweden (24,9 %) und Großbritannien (24,5 %) ist der Frauenanteil im Top-Management teils mehr als doppelt so hoch wie bei den DAX-Unternehmen, die im internationalen Vergleich den letzten Platz belegen und immer weiter zurückfallen.

X Models (personal)

14 Nov, 2020 at 10:55 | Posted in Varia | Leave a comment

.                                                                                                                           

20190808_223321812184802.jpg

A newly wedded couple celebrating in the garden of their summer residence.

As always, for you, Jeanette.

Though I speak with the tongues of angels,
If I have not love…
My words would resound with but a tinkling cymbal.
And though I have the gift of prophecy​…
And understand all mysteries…
and all knowledge…
And though I have all faith
So that I could remove mountains,
If I have not love…
I am nothing.

Bye Bye Donny

12 Nov, 2020 at 16:34 | Posted in Politics & Society | Leave a comment

.                                                                                                                                 

Simpson’s paradox

12 Nov, 2020 at 11:16 | Posted in Statistics & Econometrics | Leave a comment

From a theoretical perspective, Simpson’s paradox importantly shows that causality can never be reduced to a question of statistics or probabilities.

To understand causality we always have to relate it to a specific causal structure. Statistical correlations are never enough. No structure, no causality.

Simpson’s paradox is an interesting paradox in itself, but it can also highlight a deficiency in the traditional econometric approach towards causality. Say you have 1000 observations on men and an equal amount of observations on women applying for admission to university studies, and that 70% of men are admitted, but only 30% of women. Running a logistic regression to find out the odds ratios (and probabilities) for men and women on admission, females seem to be in a less favourable position (‘discriminated’ against) compared to males (male odds are 2.33, female odds are 0.43, giving an odds ratio of 5.44). But once we find out that males and females apply to different departments we may well get a Simpson’s paradox result where males turn out to be ‘discriminated’ against (say 800 male apply for economics studies (680 admitted) and 200 for physics studies (20 admitted), and 100 female apply for economics studies (90 admitted) and 900 for physics studies (210 admitted) — giving odds ratios of 0.62 and 0.37).

Econometric patterns should never be seen as anything else than possible clues to follow. From a critical realist perspective, it is obvious that behind observable data there are real structures and mechanisms operating, things that are  — if we really want to understand, explain and (possibly) predict things in the real world — more important to get hold of than to simply correlate and regress observable variables.

Math cannot establish the truth value of a fact. Never has. Never will.

Paul Romer

Conditional exchangeability and causal inference

11 Nov, 2020 at 18:13 | Posted in Statistics & Econometrics | Leave a comment

Causal Inference: Introduction to Causal Effect Estimation - inovex BlogIn observational data, it is unrealistic to assume that the treatment groups are exchangeable. In other words, there is no reason to expect that the groups are the same in all relevant variables other than the treatment. However, if we control for relevant variables by conditioning, then maybe the subgroups will be exchangeable. We will clarify what the “relevant variables” are, but for now, let’s just say they are all of the covariates 𝑋. Then, we can state conditional exchangeability formally …

The idea is that although the treatment and potential outcomes may be unconditionally associated (due to confounding), within levels of 𝑋, they are not associated. In other words, there is no confounding within levels of 𝑋 because controlling for 𝑋 has made the treatment groups comparable …

Conditional exchangeability is the main assumption necessary for causal inference. Armed with this assumption, we can identify the causal effect within levels of 𝑋, just like we did with (unconditional) exchangeability …

This marks an important result for causal inference … The main reason for moving from exchangeability to conditional exchangeability was that it seemed like a more realistic assumption. However, we often cannot know for certain if conditional exchangeability holds. There may be some unobserved confounders that are not part of 𝑋, meaning conditional exchangeability is violated. Fortunately, that is not a problem in randomized experiments. Unfortunately, it is something that we must always be conscious of in observational data. Intuitively, the best thing we can do is to observe and fit as many covariates into 𝑋 as possible to try to ensure unconfoundedness.

Brady Neal

France Relance

10 Nov, 2020 at 18:21 | Posted in Economics | 1 Comment

Le plan de relance français est-il déjà obsolète avant d’avoir servi ? En tout cas, sa forme et son application sont sérieusement remises en cause par le deuxième confinement qui est en train de replonger dans le rouge tous les indicateurs économiques, ragaillardis à la faveur de l’été. Il voyait pourtant loin cet ambitieux dispositif, baptisé « France Relance », le regard volontairement tourné vers 2030. C’est bien justement ce qu’on lui reproche aujourd’hui : avoir la tête dans le futur. Avant de penser à la décennie prochaine, il serait opportun de réaliser que la survie de notre économie se joue dans les mois à venir …

Keynes vs. Hayek on BBC Radio 4 | LARS P. SYLLCe débat entre court terme – aide à la consommation – et long terme – aide aux entreprises – est aussi vieux que les plans de relance. Et clive l’économie entre ceux qui pensent comme John Maynard Keynes « qu’à long terme nous serons tous morts », et qu’il faut donc aider tout de suite le consommateur, et les libéraux pour qui il est plus efficace de soutenir les entreprises en baissant leurs coûts pour les inciter à investir et à embaucher, ce qui prend plus de temps. Comme le disait l’économiste libéral autrichien Ludwig von Mises, répondant à Keynes, « brûler ses meubles n’est pas forcément une bonne méthode pour chauffer son logis ». Il reste que, quand la maison brûle, les rêves de long terme se brisent facilement sur les désastres économiques et les révoltes sociales.

‘Every single atom, happy or miserable’

9 Nov, 2020 at 15:18 | Posted in Varia | 1 Comment

.

O day, arise! The atoms are dancing.
Thanks to Him the universe is dancing.
The souls are dancing, overcome with ecstasy.
I’ll whisper in your ear where their dance is taking them.
All the atoms in the air and in the desert know well, they seem insane.
Every single atom, happy or miserable,
Becomes enamoured of the sun, of which nothing can be said.

Jalāl ad-Dīn Muhammad Rūmī (1207-1273)

« Previous PageNext Page »

Blog at WordPress.com.
Entries and comments feeds.