Calibration and ‘deep parameters’ — a severe case of econometric self-deception

22 November, 2014 at 12:37 | Posted in Statistics & Econometrics | Leave a comment

One may wonder how much calibration adds to the knowledge of economic structures and the deep parameters involved … Micro estimates are imputed in general equilibrium models which are confronted with new data, not used for the construction of the imputed parameters … However this procedure to impute parameter values into calibrated models has serious weaknesses …

poofFirst, few ‘deep parameters’ have been established at all …

Second, even where estimates are available from micro-econometric investigations, they cannot be automatically importyed into aggregated general equlibrium models …

Third, calibration hardly contributes to growth of knowledge about ‘deep parameters’. These deep parameters are confronted with a novel context (aggregate time-series), but this is not used for inference on their behalf. Rather, the new context is used to fit the model to presumed ‘laws of motion’ of the economy …

This leads to the fourth weakness. The combination of different pieces of evidence is laudable, but it can be done with statistical methods as well … This statistical approach has the advantage that it takes the parameter uncertainty into account: even if uncontroversial ‘deep parameters’ were available, they would have standard errors. Specification uncertainty makes things even worse. Negecting this leads to self-deception.

Hugo Keuzenkamp

There are many kinds of useless economics held in high regard within mainstream economics establishment today. Few — if any — are less deserved than the macroeconomic theory/method — mostly connected with Nobel laureates Finn Kydland, Robert Lucas, Edward Prescott and Thomas Sargent — called calibration.

fraud-kit

Hugo Keuzenkamp and yours truly are certainly not the only ones having doubts about the scientific value of calibration. In Journal of Economic Perspective (1996, vol. 10) Lars Peter Hansen and James J. Hickman writes:

It is only under very special circumstances that a micro parameter such as the inter-temporal elasticity of substitution or even a marginal propensity to consume out of income can be ‘plugged into’ a representative consumer model to produce an empirically concordant aggregate model … What credibility should we attach to numbers produced from their ‘computational experiments’, and why should we use their ‘calibrated models’ as a basis for serious quantitative policy evaluation? … There is no filing cabinet full of robust micro estimats ready to use in calibrating dynamic stochastic equilibrium models … The justification for what is called ‘calibration’ is vague and confusing.

Mathematical statistician Aris Spanos — in  Error and Inference (Mayo & Spanos, 2010, p. 240) — is no less critical:

Given that “calibration” purposefully foresakes error probabilities and provides no way to assess the reliability of inference, how does one assess the adequacy of the calibrated model? …

The idea that it should suffice that a theory “is not obscenely at variance with the data” (Sargent, 1976, p. 233) is to disregard the work that statistical inference can perform in favor of some discretional subjective appraisal … it hardly recommends itself as an empirical methodology that lives up to the standards of scientific objectivity

In physics it may possibly not be straining credulity too much to model processes as ergodic – where time and history do not really matter – but in social and historical sciences it is obviously ridiculous. If societies and economies were ergodic worlds, why do econometricians fervently discuss things such as structural breaks and regime shifts? That they do is an indication of the unrealisticness of treating open systems as analyzable with ergodic concepts.

The future is not reducible to a known set of prospects. It is not like sitting at the roulette table and calculating what the future outcomes of spinning the wheel will be. Reading Lucas, Sargent, Prescott, Kydland and other calibrationists one comes to think of Robert Clower’s apt remark that

much economics is so far removed from anything that remotely resembles the real world that it’s often difficult for economists to take their own subject seriously.

Instead of assuming calibration and rational expectations to be right, one ought to confront the hypothesis with the available evidence. It is not enough to construct models. Anyone can construct models. To be seriously interesting, models have to come with an aim. They have to have an intended use. If the intention of calibration and rational expectations  is to help us explain real economies, it has to be evaluated from that perspective. A model or hypothesis without a specific applicability is not really deserving our interest.

To say, as Edward Prescott that

one can only test if some theory, whether it incorporates rational expectations or, for that matter, irrational expectations, is or is not consistent with observations

is not enough. Without strong evidence all kinds of absurd claims and nonsense may pretend to be science. We have to demand more of a justification than this rather watered-down version of “anything goes” when it comes to rationality postulates. If one proposes rational expectations one also has to support its underlying assumptions. None is given, which makes it rather puzzling how rational expectations has become the standard modeling assumption made in much of modern macroeconomics. Perhaps the reason is, as Paul Krugman has it, that economists often mistake

beauty, clad in impressive looking mathematics, for truth.

But I think Prescott’s view is also the reason why calibration economists are not particularly interested in empirical examinations of how real choices and decisions are made in real economies. In the hands of Lucas, Prescott and Sargent, rational expectations has been transformed from an – in principle – testable hypothesis to an irrefutable proposition. Believing in a set of irrefutable propositions may be comfortable – like religious convictions or ideological dogmas – but it is not  science.

 

Pass the salt

22 November, 2014 at 10:38 | Posted in Varia | Leave a comment

 

[h/t Jeanette Meyer]

California Dreamin’

22 November, 2014 at 00:08 | Posted in Varia | Leave a comment


[h/t Brad DeLong]

It’s more than thirty years now since I last lived there. And I’m still dreamin’ of returning some day …

Roy Bhaskar 1944 — 2014

21 November, 2014 at 15:04 | Posted in Theory of Science & Methodology | 1 Comment

Roy Bhaskar died at his home in Leeds on Wednesday 19 November 2014.

No philosopher of science has influenced my own thinking more than Roy did.

Rest in peace my dear friend.

royWhat properties do societies possess that might make them possible objects of knowledge for us? My strategy in developing an answer to this question will be effectively based on a pincer movement. But in deploying the pincer I shall concentrate first on the ontological question of the properties that societies possess, before shifting to the epistemological question of how these properties make them possible objects of knowledge for us. This is not an arbitrary order of development. It reflects the condition that, for transcendental realism, it is the nature of objects that determines their cognitive possibilities for us; that, in nature, it is humanity that is contingent and knowledge, so to speak, accidental. Thus it is because sticks and stones are solid that they can be picked up and thrown, not because they can be picked up and thrown that they are solid (though that they can be handled in this sort of way may be a contingently necessary condition for our knowledge of their solidity).

Milton Friedman’s critique of econometrics

21 November, 2014 at 13:19 | Posted in Statistics & Econometrics | Leave a comment

Jan_Tinbergen_1986Tinbergen’s results cannot be judged by ordinary tests of statistical significance. The reason is that the variables with which he winds up, the particular series measuring these variables, the leads and lags, and various other aspects of the equations besides the particular values of the parameters (which alone can be tested by the usual statistical technique) have been selected after an extensive process of trial and error because they yield high coefficients of correlation. Tinbergen is seldom satisfied with a correlation coefficient less than 0.98. But these attractive correlation coefficients create no presumption that the relationships they describe will hold in the future. The multiple regression equations which yield them are simply tautological reformulations of selected economic data. Taken at face value, Tinbergen’s work “explains” the errors in his data no less than their real movements; for although many of the series employed in the study would be accorded, even by their compilers, a margin of error in excess of 5 per cent, Tinbergen’s equations “explain” well over 95 per cent of the observed variation.

As W. C. Mitchell put it some years ago, “a competent statistician, with sufficient clerical assistance and time at his command, can take almost any pair of time series for a given period and work them into forms which will yield coefficients of correlation exceeding ±.9 …. So work of [this] sort … must be judged, not by the coefficients of correlation obtained within the periods for which they have manipulated the data, but by the coefficients which they get in earlier or later periods to which their formulas may be applied.” But Tinbergen makes no attempt to determine whether his equations agree with data other than those which they translate …

The methods used by Tinbergen do not and cannot provide an empirically tested explanation of business cycle movements.

Milton Friedman

Konjunkturinstitutet på hal is

21 November, 2014 at 12:45 | Posted in Economics, Politics & Society | Leave a comment

Som yours truly skrivit om flera gånger under de senaste veckorna (här, här och här) är det vetenskapliga underlaget för beräkningar av den så kallade “jämviktsarbetslösheten” minst sagt bräckligt. Kanske vore det något också för Konjunkturinstitutet att reflektera över …

Inflationen skulle dra iväg om arbetslösheten sjönk ner mot sex procent. Det hävdar statliga Konjunkturinstitutet i sina årliga Lönebildningsrapport, som anger att ”jämviktsarbetslösheten” i år uppgår till hela 6,9 procent. Men precisionen är skenbar, för det är givetvis så att det inte går att mäta, och därmed veta, vilken lägsta nivå på arbetslösheten som är förenlig med en stabil prisutveckling. KI:s bedömning är inget annat än en ren gissning, som man resonerat sig fram till.

DocHdl1tmpTargetI rapportens resonemang hävdas att svaga fackföreningar, dåliga villkor i a-kassan och usla lägstalöner medför en lägre så kallad ”jämviktsarbetslöshet”. Påståenden som framstår som minst sagt mystiska sett till institutets egen bedömning av den omätbara storhetens historiska utveckling. På 80-talet var facken starkare än i dag och den som blev arbetslös fick en a-kasseersättning som motsvarade mellan 80 och 90 procent av den tidigare lönen. Samtidigt låg ”jämviktsarbetslösheten”, enligt KI, på en nivå som motsvarar ungefär hälften av dagens.

Något som också väcker frågetecken kring bedömningen av förra regeringens inverkan på den långsiktiga hållbara arbetslösheten. Enligt Konjunkturinstitutet leder finansminister Borgs reformer till att arbetslösheten långsiktigt kan minska med 1,2 procentenheter. En nedgång som framförallt baseras på att lägre ersättningar antas få folk att vara mer energiska och mindre kräsna i sitt jobbsökande. Samtidigt talar mycket för att utvecklingen gått åt andra hållet. Gapet mellan yrkes- och utbildningskvalifikationerna som efterfrågas och de som erbjuds växer. Dessutom har många av dem som sökt sig ut på arbetsmarknaden inte rustats för inträdet. Men institutet försöker sig inte på att sätta siffror på effekterna av arbetsmarknadspolitikens brister.

Mellan raderna och diagrammen framkommer dock att det som verkligen driver ”jämviktsarbetslösheten” är den faktiska arbetslösheten. När risken att bli arbetslös stiger följer jämviktskurvan med. Den enda nedgångsfasen uppträder under en period då risken att förlora jobbet faktiskt minskade. På senare år har arbetslöshetsrisken legat på historiskt höga nivåer, vilket delvis är framdrivet av en högre andel tidsbegränsade anställningar.

Nyttan av att offentliga instanser som Konjunkturinstitutet, Riksbanken och Finansdepartementet ägnar mycken möda och stort besvär åt beräkningsövningar om ”jämviktsarbetslösheten” kan minst sagt ifrågasättas. Risken är uppenbar att behovet av stimulanser underskattas. Det kanske vore mer fruktbart att ta itu med att få ner den faktiska arbetslösheten, vilket ju inte bara är det som betyder mest för folk i verkligheten, utan även för omätbara storheter i modellernas värld.

Anders Eld

Arbetslöshetsersättningens effekter

21 November, 2014 at 10:55 | Posted in Economics | Leave a comment

a-kassan-som-guldkantDet finns ett antal mikro-ekonomiska svenska studier av arbetslöshets-ersättningens effekter på arbetslöshetstiden eller sannolikheten att hitta ett arbete. De flesta av dessa studier bygger inte på någon trovärdig identifiering av en ”exogen variation” i ersättningsgraden och bör därför hänföras till den stora grupp studier som Krueger och Meyer (2002) avfärdade som ”sannolikt meningslösa”. Författarna nämner bland annat den svenska studien av Carling m.fl. (1996) och konstaterar att identifieringen i denna studie är ”långt ifrån tydligt exogen”.

Jag har dock lyckats identifiera fem svenska studier som håller måttet i detta avseende och som också har använt sig av skillnad-i-förändringsmetoden.

• Harkman (1997) studerade effekten av sänkningen av ersättningsgraden 1993 från 90 till 80 procent. Studien fann en signifikant effekt på övergången till utanför arbetskraften men ingen signifikant effekt (på 10 procentsnivån) på övergången till arbete.
• Johansson och Selén (2000), gjorde om denna studie på ett nytt statistiskt urval. Inte heller denna studie lyckades hitta något signifikant effekt på övergången till arbete.
• Carling, Holmlund och Vejsiu (2001) studerade effekten av en sänkning av ersättningsgraden 1996 från 80 till 75 procent. De fann en relativt stor och signifikant effekt.
• Johansson och Selén (2001) gjorde om denna studie på samma datamaterial och visade att resultaten var mycket känsliga för exakt hur modellen specificerades och drog slutsatsen att det troligen inte fanns någon effekt.
• Bennmarker, Carling och Holmlund (2005) studerade effekten av höjningarna av taket 2001-02. De hittade inte någon signifikant effekt i hela samplet men vid uppdelning i män och kvinnor uppmättes en signifikant effekt för män men inte för kvinnor.

Resultaten har som synes varit ganska blandade men ger sammantaget ett mycket svagt stöd för hypotesen att höjd a-kassa i Sverige leder till längre arbetslöshetstider.

Sammanfattningsvis kan konstateras att de flesta studier som gjorts på svenska data helt enkelt inte håller måttet. Av de studier som faktiskt håller måttet är resultaten i hög grad tvetydiga. Och även om de varit entydiga hade de ändå inte kunnat säga något om hur höjd a-kassa påverkar aggregerad arbetslöshet.

Göran Zettergren

Hur återskapar vi förtroendet för nationalekonomin?

21 November, 2014 at 09:58 | Posted in Economics | 1 Comment

varapport2009_3-724x1024Nationalekonomin som vetenskap har världen över förlorat otroligt mycket i prestige och status under senare år. Inte minst på grund av dess oförmåga att se den senaste finansiella krisen i antågande och på grund av dess avsaknad av konstruktiva och hållbara förslag på att ta oss ur krisen.

Hur återskapar vi förtroendet för nationalekonomin?

Fem förändringar är helt avgörande.

(1) Sluta låtsas som om vi har exakta och riktiga svar på allting. För det har vi inte. Vi bygger modeller och teorier där vi på hundradelars procent kan tala om vad värdet på räntan kommer att vara om trettio år. Vi kan kalkylera investeringsrisker och göra exakta framtidsprognoser. Men detta bygger vi på matematiska och statistiska antaganden som ofta har väldigt lite eller inget alls med verkligheten att göra. Genom att inte låtsas om den avgörande skillnaden mellan modell och verklighet invaggar vi människor i en falsk trygghet av att vi har koll på läget. Det har vi inte! Det var denna falska trygghet som aktivt medverkade till finanskrisen år 2008. Vi måste våga erkänna att vi ibland inte vet allt, utan att det finns saker som vi inte ens vet att vi inte vet. All osäkerhet går inte att reducera till kalkylerbar risk.

(2) Sluta upp med den barnsliga övertron på matematikens förmåga att ge svar på viktiga ekonomiska frågor. Matematik ger bara exakta svar på exakta frågor. Men de intressanta och relevanta frågor vi ställs inför på det ekonomiska området är sällan av det slaget. Frågor av typen “är 2 + 2 = 4?” lyser helt med sin frånvaro i verklighetens ekonomi. Istället för en i grunden förfelad tilltro till att abstrakta matematisk-axiomatiska modeller har något av substans att tillföra vår kunskap om samhällsekonomin, hade det varit bättre om vi ägnade oss åt relevanta empiriska studier och observationer.

(3) Sluta upp med tron att vi inom nationalekonomin rör oss med lagar. Med övertron på matematiken följer också en i grunden förfelad tro på att vi inom ekonomin ska och kan ställa upp universella och allmängiltiga lagar av den typen som finns inom exempelvis fysiken eller astronomin. Det kan vi inte. Ekonomi är inget slutet planetsystem eller fysiklab. I verkligheten är det mesta vi kan hoppas på inom ekonomins område att fastslå eventuella tendenser med varierande grad av generaliserbarhet.

(4) Sluta upp att betrakta alla andra samhällsvetenskaper som fattiga kusiner från landet. Nationalekonomin har länge lidit av kraftig hybris. Men “samhällsvetenskapernas drottning” klarar sig inte utan samverkan med andra vetenskaper. Inte minst andra mer evidensbaserade vetenskaper som ekonomisk historia och psykologi har mycket att tillföra nationalekonomin. Mångfald och vidsyn skulle berika en idag alltför autistisk nationalekonomi.

(5) Sluta på det ekonomisk-politiska området upp med att bygga modeller och prognoser på fullständigt verklighetsfrånvända “mikrofundament” med robotliknande “representativa aktörs”-imitationer av över tiden optimerande människor utrustade med “rationella förväntningar”. Detta är ren och skär nonsens. Vi måste bygga våra mikrofundament och makromodeller på antaganden som inte står i uppenbar kontrast till verkligheten. Och i det arbetet måste vi vara ödmjuka nog att inse att psykologi och andra beteendevetenskaper kan bidra med viktiga pusselbitar.

L E O Svensson och den svenska Phillipskurvans stabilitet

20 November, 2014 at 17:05 | Posted in Statistics & Econometrics | Leave a comment

Inflationsförväntningarnas roll: Som svar på vårt påpekande att hans ekonometriska kalkyler inte är robusta, redogör Svensson i sina två inlägg för hur han kommer fram till att inflationsförväntningarna inte är signifikanta. Han avslutar sitt första inlägg med en uppmaning till andra att kontrollera resultaten. Det är precis vad vi gjort. Vi har använt hans datakällor och modeller för att replikera hans beräkningar — enligt vedertagen vetenskaplig metod …
slide_19
Här vill vi komma med ett viktigt påpekande som gäller både för Svenssons och våra beräkningar. I alla ekonometriska studier tvingas forskaren göra olika antaganden rörande hur modellen, i vårt fall Phillipskurvan, bör specificeras och rörande de ekonometriska metoder som modellen ska skattas med. I vår och i Svenssons studie finns i huvudsak två ekonometriska problem att lösa, vilka vi diskuterar i detalj nedan. Dessa problem gäller tidsförskjuten data samt överlappande data. Svensson väljer en metod som tar hänsyn till ett av dessa problem medan vi väljer en annan metod som tar har hänsyn till bägge. Vi säger inte att vår metod är den bästa eller att Svenssons är den sämsta. Båda har sina för- och nackdelar – som vi diskuterar i vår studie och i det bifogade appendixet. Det centrala budskapet med våra skattningar är att valet av metod påverkar resultaten på ett sådant sätt att vi inte kan dra bestämda slutsatser om penningpolitikens effekter.

Lars Jonung & Fredrik N G Andersson

Lars E O Svensson svarar på kritiken här.

Och för en vecka sedan skrev yours truly

Rigour and elegance in the analysis does not make up for the gap between reality and model. It is the distribution of the phenomena in itself and not its estimation that ought to be at the centre of the stage. A crucial ingredient to any economic theory that wants to use probabilistic models should be a convincing argument for the view that “there can be no harm in considering economic variables as stochastic variables” [Haavelmo 1943:13]. In most cases no such arguments are given.

Of course you are entitled – like Haavelmo and his modern probabilistic followers – to express a hope “at a metaphysical level” that there are invariant features of reality to uncover and that also show up at the empirical level of observations as some kind of regularities.

But is it a justifiable hope? I have serious doubts. The kind of regularities you may hope to find in society is not to be found in the domain of surface phenomena, but rather at the level of causal mechanisms, powers and capacities. Persistence and generality has to be looked out for at an underlying deep level. Most econometricians do not want to visit that playground. They are content with setting up theoretical models that give us correlations and eventually “mimic” existing causal properties.

The ‘neoclassical synthesis’ — more religion than science

18 November, 2014 at 14:49 | Posted in Economics | Leave a comment

The advocates of free markets in all their versions say that crises are rare events, though they have been happening with increasing frequency as we change the rules to reflect beliefs in perfect markets. I would argue that economists, like doctors, have much to learn from pathology.religion-and-scienceWe see more clearly in these unusual events how the economy really functions. In the aftermath of the Great Depression, a peculiar doctrine came to be accepted, the so-called “neoclassical synthesis.” It argued that once markets were restored to full employment, neoclassical principles would apply. The economy would be efficient. We should be clear: this was not a theorem but a religious belief. The idea was always suspect.

Joseph Stiglitz

Next Page »

Create a free website or blog at WordPress.com. | The Pool Theme.
Entries and comments feeds.